- 博客(8)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 Hadoop与HBase中遇到的问题(续)java.io.IOException: Non-increasing Bloom keys异常
在使用Bulkload向HBase导入数据中, 自己编写Map与使用KeyValueSortReducer生成HFile时, 出现了下面的异常: java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 20131119510000000000000001
2014-05-30 09:32:04
5272
转载 机器学习之开源库大总结
机器学习之开源库大总结 研究数据挖掘和机器学习有一段时间了，对数据挖掘来说，商用软件有SAS、Clementine、Oracle数据挖掘组件等等；由于个人学习和版权、算法定制等问题，开源的数据挖掘与机器学习软件(库)目前也十分必需，现在就跟大家介绍下比较流行和常用的机器学习开源库。 以前在学校用过matlab，说实话真方便，通常一个模型只要几十行甚至十几行代码就能搞定，但是正版
2014-05-26 15:41:20
1883
转载 Paxos在大型系统中常见的应用场景
来源: http://timyang.net/distributed/paxos-scenarios/在分布式算法领域，有个非常重要的算法叫Paxos, 它的重要性有多高呢，Google的Chubby [1]中提到all working protocols for asynchronous consensus we have so far encountered have
2014-05-13 19:28:27
4928
原创 在字符串中，寻找第一个只出现一次的字符
在字符串中，寻找第一个只出现一次的字符，如str=“abddgdbacdd", 结果是c三种方法：1. 使用字符字典数组，每个元素是一个结构体，第一个字段记录字符出现的次数，第二个字段记录该字符在字符串中第一次出现的位置，先遍历一遍字符串，对字符字典数组赋值，然后遍历一遍字符字典数组，找到第一个字段为1，且位置最小的字符即为需要寻找的字符。如下：struct node{ int
2014-05-11 17:29:09
1711
原创 Hadoop与HBase中遇到的问题
1. Hadoop中遇到的问题以前所遇到的问题由于没有记录,所以忘了 (1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点
2014-05-09 23:01:20
24970
6
原创 Hadoop配置文件与HBase配置文件
本Hadoop与HBase集群有1台NameNode, 7台DataNode1. /etc/hostname文件 NameNode: node1DataNode 1: node2DataNode 2: node3.......DataNode 7: node82. /etc/hosts文件N
2014-05-09 21:55:02
8258
原创 MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
声明: 若要转载, 请标明出处.前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中. 引用:一、这种方式有很多的优点：1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk
2014-05-09 21:16:16
27722
8
计算机硬件知识
2011-10-30
数据结构算法的实现（其中有flash播放）
2011-10-30
程序设计实践(ACM)
2011-10-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人