hdfs的伪分布环境搭建

查看当前主机名
    hostname
配置永久主机名
    vim /etc/hostname或 vim /etc/sysconfig/network
    如果/etc/hostname没有，就用第二个，各个linux系统主机名文件不确定
配置本地DNS映射
    vim /etc/hosts
    192.168.32.128 linux-senior01.test.com

hadoop安装
mkdir /opt/module
sudo tar zxf hadoop-2.9.2.tar.gz -C /opt/module/

伪分布
    cd etc/hadoop/   
    sudo chown -R wangmaolin:wangmaolin hadoop-2.9.2/ 
    (core-site.xml  hdfs-site.xml  yarn-site.xml  mapred-site.xml)
    1.配置hdfs
        文件core-site.xml
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop-senior01.test.com:9000</value>
            </property>
            查看hostname 换成主机名
            <property>
                   <name>hadoop.tmp.dir</name>
                    <value>/opt/module/hadoop-2.9.2/data</value>
              </property>
            在/opt/module/hadoop-2.9.2中创建一个data目录
            mkdir /opt/module/hadoop-2.9.2/data
        文件hdfs-site.xml
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            设置block块大小
            <property>
                <name>dfs.blocksize</name>
                <value>64M</value>
            </property>
    2.启动hdfs
        格式化namenode
            bin/hdfs namenode -format
    3.配置yarn
        文件yarn-site.xml
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
        文件mapred-site.xml
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
    4.查看jdk路径
        echo $JAVA_HOME     /opt/java/jdk1.8.0_65
        vim hadoop-env.sh
    5.配置文件slaves
        vim /opt/module/hadoop-2.9.2/etc/hadoop/slaves
        配置主机名或ip即可
    6.启动
        启动服务器 进入 sbin
            ./start-all.sh

cd ~
ll -a
生成公钥和私钥
    ssh-keygen -t rsa
    ssh-copy-id wml.com