![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 74
erikaIT
这个作者很懒,什么都没留下…
展开
-
hadoop起步之环境安装2
平台:window7 由于环境安装1 中介绍的cygwin安装遇到很多坑,所以更换了方案,使用虚拟机来配置hadoop,简单描述下流程 1、使用vmware 2、虚拟机为centos 3、现在vmware上安装centos 4、yum upgrade,更新下软件包 5、使用vmware共享文件夹 (1)、首先选择vmware菜单中的虚拟机-->安装vmware tools (2)、原创 2015-12-29 13:43:43 · 386 阅读 · 0 评论 -
hadoop起步之HDFS基本概念
1、适用范围 (1)、适用于一次写入,多次读取的大文件存储方案 (2)、不适用于低延迟的需求方案,可以考虑Hbase (3)、不适用于海量小文件存储(metaData会膨胀) 2、两个角色 (1)、NameNode,主要管理文件目录树,文件元数据,并知晓一个文件的block都在哪些dataNode上 (2)、DataNode,定期向nameNode汇报存储的block信息 3、Blo翻译 2015-12-08 14:06:13 · 545 阅读 · 0 评论 -
hadoop起步之环境安装
平台: windows 7 1、安装jdk 2、安装cygwin,模拟linux环境,在安装的selectpackage阶段,需要选择openSSh和openSSl这两个选项 3、如果cygwin的中文显示乱码,cygwin界面右键-->选项-->Text-->Locale-->c, character set-->GBK,并应用即可 4、在cygwin下安装sshd (1)、执行ssh转载 2015-12-08 13:31:50 · 370 阅读 · 0 评论 -
hadoop起步之mapReduce
1、map function, input : pairs, output : pairs 气象局的example,最终目的是计算出每年的最高温度。 input: (0, 0067011990999991950051507004...9999999N9+00001+99999999999...) (106, 0043011990999991950051512004...9999999N9+原创 2016-01-05 13:46:23 · 343 阅读 · 0 评论