hadoop
码上笔记
不断积累、总结、反思,用代码改变世界
展开
-
hadoop学习流程
按照这个路线图来学习即可。 1、M. Tim Jones的三篇文章: 用Hadoop进行分布式数据处理第1部分(入门):http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/index.html 用Hadoop进行分布式数据处理第2部分(进阶):http://www.ibm.com/developerworks/c转载 2017-11-10 16:07:25 · 200 阅读 · 0 评论 -
hadoop集群默认配置和常用配置
配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdf原创 2017-10-16 16:56:04 · 220 阅读 · 0 评论 -
Hadoop 2.5.2分布式集群配置(VirtualBox虚拟机模拟)
本教程使用VirtualBox模拟一共有四台机器,系统为CentOS 7 x86-64,其中一台为master 其余三台为slave。1.使用VirtualBox新建master和三台slave,配置网络四台机器网络设置为桥接模式,网卡选择主机上网的真实网卡。分别修改/etc/sysconfig/network-scripts/ifcfg-enp0s3设置静态ip上网模式和固定ip及相应网关配置(与原创 2017-11-04 23:32:15 · 659 阅读 · 0 评论