hadoop
文章平均质量分 90
tanglanlanrui
这个作者很懒,什么都没留下…
展开
-
集群hadoop装机步骤(1)
集群hadoop装机步骤小结(1)准备 :安装集群的机子不要一样版本的ubuntu,但必须要有相同版本的hadoop和jdk所以这里首先要统一hadoop和jdk我们团队用到的hadoop是:hadoop-0.20.203.0rcl.tar jdk是:jdk-6u30-linux-i586.bin 声明:(netjava是我们小组统一的用户名) 步骤 : ...原创 2012-02-05 01:23:57 · 121 阅读 · 0 评论 -
集群hadoop装机步骤(2)
集群hadoop装机步骤小结 (2) 第五:配置ip(1) 打开网络连接中——>编辑连接选项——>选择你当前的网络(出现如下图的窗体) (2) 接上——>编辑选项——>ipv4设置(出现如下图的窗体) 地址(添加你们协定好的各自分配的ip) 第六:添加节点(在主机处)(1)在/...原创 2012-02-05 01:30:35 · 108 阅读 · 0 评论 -
MapReduce对数据流的处理流程
输入数据和分片阶段:输入数据:根据Namenode返回的路径信息,job将输入的数据分成若干独立的数据块,将数据传送到对应的DataNode进行存储。NameNode只保存有数据的元数据,真正的数据不会经过NameNode,也不会保存在NameNode上。切片:Hadoop把输入数据根据SplitSize(设置的片的大小,默认是64M)对文件进行切分后发送到MapReduce,切分成的每一...原创 2012-02-09 13:51:21 · 804 阅读 · 0 评论