[hadoop笔记]基于CentOS7虚拟机搭建Hadoop伪分布模式

1. 安装前准备

参考上一篇文章：Hadoop单机模式搭建
可以在上一篇文章完成的基础上做后续步骤

2. Hadoop伪分布模式搭建

① 修改Hadoop配置文件

修改hadoop-env.sh 配置文件

[hadoop@wx hadoop]$ sudo vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh 
	# 修改的内容：
	# 快速定位： 编辑模式下输入 /JAVA_HOME
	# The java implementation to use.
	export JAVA_HOME=/home/hadoop/jdk

修改 core-site.xml 配置文件

[hadoop@wx hadoop]$ sudo vi $HADOOP_HOME/etc/hadoop/core-site.xml 
	# 修改的内容：
	<configuration>
        <property>
        		<!-- 注释：网页访问hdfs的接口-->
                <name>fs.defaultFS</name>
                <value>hdfs://wx1:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/hadoop/tmp</value>
        </property>
	</configuration>

修改 hdfs-site.xml 配置文件

[hadoop@wx hadoop]$ sudo vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
	# 修改的内容：
	<configuration>
        <property>
        		<!--注释：设置节点数，默认值为3-->
                <name>dfs.replication</name>
                <value>1</value>
        </property>
	</confiouration>

修改 mapred-site.xml 配置文件

# 先重命名文件
[hadoop@wx hadoop]$ sudo cp ./mapred-site.xml.template ./mapred-site.xml
[hadoop@wx hadoop]$ sudo vi ./mapred--site.xml 
# 修改的内容：
	<configuration>
        <property>
        		<!--注释：mapreduce运行在yarn框架上-->
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
	</confiouration>

修改 yarn-site.xml 配置文件

[hadoop@wx hadoop]$ sudo vi ./yarn--site.xml 
# 修改的内容：
	<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>wx1</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
	</confiouration>

② 格式化hdfs并启动hdfs和yarn：

[hadoop@wx ~]$ hdfs namenode -format
[hadoop@wx ~]$ start-dfs.sh
[hadoop@wx ~]$ start-yarn.sh

③ 验证Hadoop进程是否正常启动

[hadoop@wx ~]$ jps

⑥通过web访问Hadoop：

在浏览器中输入一下网址即可访问（对应的IP地址需要改为虚拟机的IP地址）
访问namenode: http://192.168.183.131:50070
访问secondnamenode: http://192.168.183.131:50090
访问yarn: http://192.168.183.131:8088

⑦完成后停止Hadoop进程：

[hadoop@wx ~]$ stop-all.sh