Hadoop伪分布式搭建记录

完全分布式搭建：
每个节点都需要操作，操作系统为cent os 7

cent  os 6与7稍有不同

（1）主机名：

vi /etc/sysconfig/network 

NETWORKING=yes
HOSTNAME=hadoop01
（2）主机映射：

vi /etc/hosts   

192.168.160.135 hadoop01

重启：init 6或reboot
（3）关闭防火墙：

service iptables stop

关闭sellinux:

vi /etc/selinux/config

   SELINUX=disabled
（4）系统启动级别改为3
vi /etc/inittab
(5)创建普通用户，并添加sudolers
useradd 用户名
passwd 用户名
vi /etc/sudoers

用户名 ALL=(ALL) ALL

(6)配置免密登录
先切换到普通用户
    1.生成密钥:ssh-keygen
    2.发送密钥：ssh-copy-id hadoop(主机名)
    验证:ssh hadoop
(7)安装jdk 

快捷键：alt+p用sftp传输文件
卸载jdk
rpm -qa | grep jdk
rpm -e java-............

(8)时间同步  伪分布式不需要
选择安装版本
不选太旧的，不选最新
版本高的不一定最新
一定切换到普通用户

【1】伪分布式的搭建
1）上传
2）解压
3）修改配置文件
HADOOP_HOME/etc/hadoop
需要修改6个配置文件
    1.hadoop-env.sh              --修改Java环境变量
        export JAVA_HOME=/home/hadoop/jdk1.8.0_181
    2.core-site.xml    
        核心配置文件
        官文查看配置文件直接复制，通信主节点的url修改localhost

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

    3.hadfs-site.xml
    配置副本个数

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    4.yarn-site.xml    yarn资源调度的程序

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

 5.mapred-site.xml    可以用yarn资源调度，也可以是其他

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    6.slaves    配置助理，单节点也为本机
    

vim slaves

    7.先进行格式化(需要先进行hadoop环境变量sbin和bin)

hadoop namenode -format

    8.启动    cd bin/
        不建议start-all.sh 
        建议strat-yarn.sh    start-dfs.sh
    9.验证    jps    6个进程
        页面：
        hdfs:namenode的ip:50070
        yarn:resourcemanager的ip:8088