Hadoop篇.搭建Hadoop的伪分布式模式

在本地模式的基础上进行修改，本地模式的搭建如下：

https://blog.csdn.net/lwf006164/article/details/93400413

第一步：修改hadoop-env.sh

// 修改内容
JAVA_HOME=/root/training/jdk1.8.0_144

第二步：修改hdfs-site.xml

<!--配置数据块的冗余度，默认是3-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--是否开启HDFS的权限检查，默认是true-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

第三步：修改core-site.xml

<!--配置HDFS主节点Namenode的地址,9000是RPC通信端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata11:9000</value>
</property>
<!--HDFS数据块和数据元信息保存在机器上的位置，默认保存在Linux的tmp目录中-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>

第四步：用mapred-site.xml.template生成mapred-site.xml，hadoop不存在，创建出来

<!--Mapreduce程序运行的框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

第五步：修改yarn-site.xml

<!--配置yarn主节点的位置-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata11</value>
</property>
<!--nodemanager执行mapreduce程序的方式：mapreduce_shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

第六步：对HDFS的Namenode（主节点）进行格式化

hdfs namenode -format

第七步：启动hadoop

//脚本在sbin目录下面
start-all.sh
//查看进程
jps