目录
二.修改hadoop配置文件(cd /usr/local/hadoop/etc/hadoop/)
hadoop资源:
链接:https://pan.baidu.com/s/1BdyYO_IRPSmvD4cNjUGo0A
提取码:q0o8
一.基本环境配置
1.上传hadoop解压包并解压至/usr/local/
tar -zxvf hadoop-2.6.0.tar.gz
2.重命名hadoop
mv hadoop-2.6.0 hadoop
3.配置hadoop环境变量(所有节点,且已配置java环境变量)
vi /etc/profile 或 vi ~/.bashrc
/etc/profile为所有的用户设置系统范围的环境变量和启动顺序。
~/.bashrc 只对某一用户生效。
添加内容:
保存退出并生效环境变量:
source /etc/profile
二.修改hadoop配置文件(cd /usr/local/hadoop/etc/hadoop/)
1.修改core-site.xml文件
添加内容如下:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
2.修改yarn-site.xml文件
添加内容如下:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3.修改mapred-site.xml
复制一份该文件
添加内容如下:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.修改hdfs-site.xml文件
添加内容如下:
<configuration>
<property>
<name>dfs.namenode.http-address</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
5.修改slaves文件
修改内容如下:
有几个次节点就添加已有次节点的主机名
6.修改hadoop-env.sh文件
修改内容如下:
三.将hadoop传输至其他节点
更换传输对象只需更改slave1为其他主机名即可,也可以为其他节点的IP。
四.hadoop名称节点格式化
hdfs namenode -format 或hadoop namenode -format
主节点:
五.启动hadoop
主节点:
start-all.sh(可以用start-dfs.sh 和 start-yarn.sh启动,都要执行)
1.查看hadoop的启动进程
jps
master:
slave1:
slave2:
若进程和以上所示一致,则表示hadoop安装成功。
2.利用浏览器查看hadoop的web端
由于要访问虚拟机的IP,需要关闭虚拟机的防火墙。
systemctl stop firewalld
访问:
出现该页面表示成功。
六.关闭hadoop
主节点执行:
stop-all.sh(可以用stop-dfs.sh 和 stop-yarn.sh启动,都要执行)
七.查看hadoop版本