hadoop
文章平均质量分 74
erikaIT
这个作者很懒,什么都没留下…
展开
-
hadoop起步之环境安装2
平台:window7由于环境安装1 中介绍的cygwin安装遇到很多坑,所以更换了方案,使用虚拟机来配置hadoop,简单描述下流程1、使用vmware2、虚拟机为centos3、现在vmware上安装centos4、yum upgrade,更新下软件包5、使用vmware共享文件夹(1)、首先选择vmware菜单中的虚拟机-->安装vmware tools(2)、原创 2015-12-29 13:43:43 · 406 阅读 · 0 评论 -
hadoop起步之HDFS基本概念
1、适用范围(1)、适用于一次写入,多次读取的大文件存储方案(2)、不适用于低延迟的需求方案,可以考虑Hbase(3)、不适用于海量小文件存储(metaData会膨胀)2、两个角色(1)、NameNode,主要管理文件目录树,文件元数据,并知晓一个文件的block都在哪些dataNode上(2)、DataNode,定期向nameNode汇报存储的block信息3、Blo翻译 2015-12-08 14:06:13 · 567 阅读 · 0 评论 -
hadoop起步之环境安装
平台: windows 71、安装jdk2、安装cygwin,模拟linux环境,在安装的selectpackage阶段,需要选择openSSh和openSSl这两个选项3、如果cygwin的中文显示乱码,cygwin界面右键-->选项-->Text-->Locale-->c, character set-->GBK,并应用即可4、在cygwin下安装sshd(1)、执行ssh转载 2015-12-08 13:31:50 · 387 阅读 · 0 评论 -
hadoop起步之mapReduce
1、map function, input : pairs, output : pairs气象局的example,最终目的是计算出每年的最高温度。input:(0, 0067011990999991950051507004...9999999N9+00001+99999999999...)(106, 0043011990999991950051512004...9999999N9+原创 2016-01-05 13:46:23 · 361 阅读 · 0 评论