hadoop完全分布式的搭建

hadoop完全分布式的搭建

哔哩哔哩视频：https://www.bilibili.com/video/av68978332（配置过程视频）
1、jdk和hadoop tar包导入
百度网盘https://pan.baidu.com/s/1nVrcXfjB8JmpxHRRzN4O4A
密码：7m3m
2、环境配置、配置映射、
3、配置hadoop
4、启动hadoop

分别启动的进程
start-dfs.sh
Datenode namenode SecondaryNameNode

start-yarn.sh
ResourceManager NodeManager

hadoop-env.sh
配置jdk

core-site.xml
<!-- 这个属性用来指定namenode的hdfs协议的文件系统通信地址 -->
<property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
</property>
<property>
<!-- 指定hadoop临时目录，hadoop在运行过程中肯定会有临时文件或缓冲之类的，必然需要一个临时目录来存放，这里就是指定这个的 -->
     /**tmp提前创建好 */
        <name>hadoop.tmp.dir</name>
        <value>/simple/hadoop-2.7.3/tmp</value>
</property>


hdfs-site.xml
<!-- namenode数据的存放地点。也就是namenode元数据存放的地方，记录了hdfs系统中文件的元数据-->
<property>
        <name>dfs.name.dir</name>
        <value>/simple/hadoop-2.7.3/hdfs/name</value>
</property>
<!-- datanode数据的存放地点。也就是block块存放的目录了-->
<property>
        <name>dfs.data.dir</name>
        <value>/simple/hadoop-2.7.3/hdfs/data</value>
</property>


mapred-site.xml
<!-- 通知框架MR使用YARN -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>


yarn-site.xml
<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

slaves
配置奴隶结点