因为工作的需要,今天自己在虚拟机上尝试搭建了Hadoop,捣腾了一下午好不容易搭建完成),记录一下。
有个前辈写的hadoop安装博客,我觉得写得很详细,对我帮助也很大:http://www.cnblogs.com/zhengna/p/9316424.html
一、hadoop下载
下载地址:http://hadoop.apache.org/releases.html
我选择的是3.0.3版本
二、安装环境
centos6.5、jdk1.8
三、安装步骤
1、安装包下载后,将安装包传到linux上,通过secureCRT的SFTP session 执行指令
put C:\Users\username\Downloads\hadoop-3.0.3.tar.gz
2、将安装包解压到指定文件
tar -xzvf hadoop-3.0.3.tar.gz -C app/hadoop/
3、修改配置文件,涉及的文件是/hadoop-3.0.3/etc/hadoop/目录下的hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml以及/etc/profile
3.1 vi hadoop-env.sh
在文件末尾添加:export JAVA_HOME=/home/itcast-1110/app/jdk1.8.0_161/ 具体的路径要以自己系统上jdk的安装路径为准
3.2 vi core-site.xml
在configuration标签内添加以下内容:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/temp/</value>
</property>
3.3 vi hdfs-site.xml
在configuration标签内添加以下内容:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
这里重点要提的是dfs.http.address这个属性,我查到的很多安装教程是没有这个属性的配置,但我这里的加了这段之后浏览器才可以访问hadoop的服务,至于原因,我现在也不是很清楚。
3.4 vi mapred-site.xml
在configuration标签内添加以下内容:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3.5 vi yarn-site.xml
这个配置文件刚开始没加入yarn.resourcemanager.webapp.address,RM的管理界面一直无法访问(就是8088端口哪个),后来查了几个地方说是要配上这个属性,这是参考的文章之一:http://flyeagle.iteye.com/blog/2192302
3.6 vi /etc/profile
在文件末尾加入:
export HADOOP_HOME=/home/itcast-1110/app/hadoop/hadoop-3.0.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
四、启动Hadoop
1.格式化HDFS
切换到hadoop的bin目录,执行./hadoop namenode -format
如果遇过询问yes or no 的输入Y即可
2、启动hadoop进程
切换到hadoop的sbin目录下,执行./start-all.sh
这里我看别人的博客好像如果还没有配ssh免密登录,会一直要求输入信息,我可能是因为实现已经配置过了,所以这里并没有要求我做额外的操作,ssh免密登录配置,我现在记忆迷糊了。。。啊啊啊啊还是要边学习边记录啊
3、关闭防火墙,root帐号登录时执行service iptables stop
4、打开本地环境的浏览器,输入http://ip:50070(ip是安装hadoop的ip),即可访问HDFS的管理界面啦
MR的界面,端口号8088
至此,hadoop的安装就先告一段落啦,泪奔,捣腾一下午到大晚上,动手能力还是差了