![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
iteye_10917
这个作者很懒,什么都没留下…
展开
-
第一个MapreducerDriver跑起来
注:由Hadoop权威指南开始的 MapReducer的用途是数据的存储和分析,就像lucene一样要想有个完整的可以运行起来的搜索引擎肯定要构建索引,然后根据client端的需求进行数据分析一样。 1,Mapper 这里Mapper是一个泛型类,前两位参数为输入类型,后两位参数为输出类型(与reducer的输入类型必须对应)。当前temperatureMapper的输入Key,...2010-08-15 14:04:35 · 235 阅读 · 0 评论 -
HDFS
注:由学习Hadoop权威指南的 HDFS分布式文件系统 概念: hadoop的分布式文件系统hdfs hdfs思想:一次写入,多次读取是高效的,但是如果低延迟访问未必完全做得到,hdfs是为了大搞高数据吞吐量而设计,由于hdfs块默认为64M大小,这样减少了磁盘的寻址时间,这样硬盘的传输速度越快相应的数据传输速率就越快,这只是字面理解,[b]当然如果任务特别少作业...2010-08-21 22:28:36 · 140 阅读 · 0 评论 -
hadoop安装
最近由于一个项目比较忙,所以有短时间没能读书没能动手学习! 首先,说下为什么我要些hadoop的文章,由于我的个人兴趣在互联网方向,在这方面我有激情和行动力,就这么简单,当然这才是我的真正职业方向。 另外,这次安装是在ubuntu上安装,对于2年没碰linux的我来说忘记了好多命令,呵呵,废话少说,下面说安装过程。 建立hadoop的用户名和用户组 sudo a...2010-07-31 23:33:56 · 69 阅读 · 0 评论