linux伪分布模式配置

本机将Hadoop安装在opt/module/下
1.切换到Hadoop2.7.2/etc/hadoop路径下
vim core-site.xml
将以下内容粘贴到configuration标签内

"""
<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储目录 --> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value> </property>
"""

2./etc/hadoop路径下
vim hadoop-env.xml
“”"
2.1 新建连接查看并拷贝
echo $JAVA_HOME
2.2 修改hadoop-env.sh文件中的JAVA_HOME
export JAVA_HOME = …
“”"

3./etc/hadoop路径下
vim hdfs-site.xml
将以下内容粘贴到configuration标签内

"""
<!-- 指定 HDFS 副本的数量 --> <property>
<name>dfs.replication</name>
   <value>1</value>
</property>
"""

4.退出到hadoop根目录下（hadoop-2.7.2）
4.1格式化NameNode（第一次启动时格式化，以后精良不要格式化，如果实在需要的话，需要在根目录下删除data和logs文件）
bin/hdfs namenode - format
("-"是中文！！！！！）
4.2启动NameNode
sbin/hadoop-daemon.sh start namenode
4.3启动DataNode
sbin/hadoop-daemon.sh start datanode

5.查看是否启动成功
5.1命令的形式
jps
“注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps”

5.2浏览器可视化界面
虚拟机IP地址：端口号50070

启动YARN并运行MapReduce程序

1.在hadoop-2.7.2路径下
cd etc/hadoop
vim yarn-env.sh

2.修改配置
export JAVA_HOME=/opt/module/jdk1.8.0_144

3.编辑文件内容
vim yarn-site.xml
将以下内容粘贴到configuration标签下

"""
<!-- Reducer 获取数据的方式 --> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value> </property>
<!-- 指定 YARN 的 ResourceManager 的地址 --> <property>
<name>yarn.resourcemanager.hostname</name>
     <value>hadoop101</value>
</property>
"""

4.在hadoop路径下
vim mapred-env.sh
5.修改配置
export JAVA_HOME=/opt/module/jdk1.8.0_144
6.修改文件名
mv mapred-site.xml.template mapred-site.xml
7.编辑文件内容
vim mapred-site.xml
将以下内容粘贴到configuration标签下

"""
<!-- 指定 MR 运行在 YARN 上 --> 
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
"""

8.在hadoop-2.7.2路径下启动yarn
sbin/yarn-daemon.sh start resourcemanager

9.在hadoop-2.7.2路径下启动NodeManager
sbin/yarn-daemon.sh start nodemanager

10.查看服务是否正常启动
jps

11.查看mapreduce服务
IP:8088

配置历史服务器

1.编辑文件内容
vim etc/hadoop/mapred-site.xml
将以下内容粘贴到configuration标签内

"""
<!-- 日志聚集功能使能 --> 
<property>
 		<name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置 7 天 --> 
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
   <value>604800</value>
</property>
"""

2.在hadoop-2.7.2路径下启动历史服务器
sbin/mr-jobhistory-daemon.sh start historyserver
即可查看图形化界面history标签

配置日志采集

1.在hadoop路径下编辑文件
vim yarn-site.xml
将以下内容粘贴到configura标签

"""
<!-- 日志聚集功能使能 --> 
<property>
 		<name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置 7 天 --> 
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
   <value>604800</value>
</property>
"""

注意:开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 # HistoryManager。

2.关闭 NodeManager 、ResourceManager 和 HistoryManager

[jason@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
[jason@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[jason@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

3.重新启动 NodeManager 、ResourceManager 和 HistoryManager

[jason@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[jason@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
[jason@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory- daemon.sh start historyserver

4.执行程序之后即可查看相关日志信息