HBase学习
一只鸟的天空
一个偏执狂,一个强迫症患者.....
微博地址: http://weibo.com/1765411302
欢迎数据挖掘与机器学习从业者一起交流
展开
-
Hadoop配置文件与HBase配置文件
本Hadoop与HBase集群有1台NameNode, 7台DataNode1. /etc/hostname文件 NameNode: node1DataNode 1: node2DataNode 2: node3.......DataNode 7: node82. /etc/hosts文件N原创 2014-05-09 21:55:02 · 8258 阅读 · 0 评论 -
Hadoop与HBase中遇到的问题
1. Hadoop中遇到的问题以前所遇到的问题由于没有记录,所以忘了 (1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点原创 2014-05-09 23:01:20 · 24970 阅读 · 6 评论 -
MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
声明: 若要转载, 请标明出处.前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中. 引用:一、这种方式有很多的优点:1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk原创 2014-05-09 21:16:16 · 27723 阅读 · 8 评论 -
Paxos在大型系统中常见的应用场景
来源: http://timyang.net/distributed/paxos-scenarios/在分布式算法领域,有个非常重要的算法叫Paxos, 它的重要性有多高呢,Google的Chubby [1]中提到all working protocols for asynchronous consensus we have so far encountered have转载 2014-05-13 19:28:27 · 4928 阅读 · 0 评论 -
Hadoop与HBase中遇到的问题(续)java.io.IOException: Non-increasing Bloom keys异常
在使用Bulkload向HBase导入数据中, 自己编写Map与使用KeyValueSortReducer生成HFile时, 出现了下面的异常: java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 20131119510000000000000001原创 2014-05-30 09:32:04 · 5272 阅读 · 0 评论