![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
chengzhewang
这个作者很懒,什么都没留下…
展开
-
断电后重启Hbase出现KeeperErrorCode = DataInconsistency
org.apache.zookeeper.KeeperException$DataInconsistencyException: KeeperErrorCode = DataInconsistency at org.apache.hadoop.hbase.zookeeper.ZKUtil.convert(ZKUtil.java:1853) at org.apac原创 2014-07-22 13:58:09 · 1440 阅读 · 0 评论 -
win7 Eclipse连接Hadoop
conf.set("fs.defaultFS","hdfs://192.168.1.201:9000");conf.set("mapred.job.tracker","192.168.1.201:9001");conf.set("mapreduce.framework.name", "yarn");conf.set("yarn.resourcemanager.address", "19原创 2014-07-02 17:16:48 · 802 阅读 · 0 评论 -
Hadoop mapreduce 中partition作用
1.其中mapreduce中map输出的数据会根据butong原创 2014-07-10 12:25:01 · 2206 阅读 · 0 评论 -
Data input format and Data output format
1.Data input formatmapreduce输入的数据一般都是key/value原创 2014-07-10 13:50:34 · 897 阅读 · 0 评论 -
mapreduce 剖析
另外,还找到一篇文章,很好,引用一下。Hadoop是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。HDFS是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞吐量的数据访问,适合存储海量(PB 级)的大文件(转载 2014-07-10 11:50:59 · 380 阅读 · 0 评论 -
Hbase热点问题
当处理由连续事件得到的数据时,即时间上连续的数据。这些数据可能来自于某个传感器网络、证券交易或者一个监控系统。它们显著的特点就是rowkey中含有事件发生时间。带来的一个问题便是HBase对于row的不均衡分布,它们被存储在一个唯一的rowkey区间中,被称为region,区间的范围被称为Start Key和End Key。对于单调递增的时间类型数据,很容易被散列到同一个Region中转载 2014-08-05 16:54:21 · 1427 阅读 · 0 评论