Hadoop完全分布式集群搭建（新手式）

  在上一篇博客中，Hadoop集群搭建的前期准备，我们已经进行到了1，2两步，下面开始3，4步。

• 配置JDK
• 配置Hadoop（单机模式）
• 固定IP，配置ssh无密码登录
• 完全克隆2台机器（Hadoop集群最少3台）
  固定IP，配置ssh无密码登录
    IP可以说是每台机器的识别码，首先不能所有机器一模一样，因此我们在克隆之后，也是需要修改IP的。第二，IP必须不能任意变动，要不然集群之间无法有效识别。
  执行以下命令:

 ifconfig  		#记住网卡名称ens33

sudo vim /etc/network/interfaces

sudo /etc/init.d/networking restart		#如果重启失败，直接reboot吧

重启之后，就可以开始ssh的登录配置了。
执行以下命令：

sudo vim /etc/hosts

sudo vim /etc/hostname

sudo apt-get install openssh-server		#Ubuntu没有自带ssh服务，因此需要安装
ssh localhost	#为了生成~/.ssh目录

完全克隆2台机器
首先需要关闭dm-1，然后再进行完全克隆


这里建议修改下名字dm-2和dm-3

sudo vim /etc/network/interfaces #另外两台机器都要修改

sudo vim /etc/hostname

reboot #下面的dm-1是用户名，dm-2是机器名，修改成功，开始测试是否ping成功


接下来在三台机器上分别执行以下指令

cd ~/.ssh
ssh-keygen -t rsa
ssh-copy-id dm-1		#将钥匙给自己
ssh dm-1				#测试ssh的无密码登录
ssh-copy-id dm-2		#将钥匙给dm-2
ssh dm-2
ssh-copy-id dm-3		#将钥匙给dm-3
ssh dm-3

在林老师的教程中，老师只教授了master(dm-1)登录其他节点的方法，而没有其他节点登录master的方法，我这里为什么要多此一举呢？需求不同。我们后期还有搭建zookeeper集群。
配置文件修改(如果hadoop版本是3.2.x，在配置文件中需要加入classpath,输入命令：hadoop classpath就可以得到，直接复制进去)

• slaves #有些版本是workers文件
• core-site.xml #hadoop的核心配置文件
• hdfs-site.xml #用于配置namenode的url及namenode和datanode的存放位置
• mapred-site.xml #mapreduce的相关配置
• yarn-site.xml #配置资源管理系统yarn
  执行以下命令：

 cd /usr/local/hadoop/etc/hadoop
 sudo vim ./slaves	#加入从节点，一行一个

sudo vim ./core-site.xml #dm-1为主机名，预设为master

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://dm-1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

sudo vim ./hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>dm-1:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

cp mapred-site.xml.template  mapred-site.xml
sudo vim ./mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>dm-1:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>dm-1:19888</value>
        </property>
</configuration>

sudo vim ./yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>dm-1</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

cd /usr/local/hadoop/etc/
scp -r ./hadoop dm-2:/usr/local/hadoop/etc/	#将文件分发到从节点
scp -r ./hadoop dm-3:/usr/local/hadoop/etc/

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要
start-all.sh

这里报错，JAVA_HOME is not set and could not be found.大致意思是我们没有弄好JAVA_HOME,但我们之前已经在前面测试过，是可行的，真正原因是我们需要在hadoop-env.sh中添加jdk的环境变量
cd /usr/local/hadoop/etc/hadoop
sudo vim ./hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

scp -r ./hadoop-env.sh dm-2:/usr/local/hadoop/etc/hadoop/

scp -r ./hadoop-env.sh dm-3:/usr/local/hadoop/etc/hadoop/

重新start-all.sh

没有明显错误，jps命令检验以下



以上各项进程一个都不能少，少了就说明有错误。如果没有报错，但缺少了进程，建议打开hadoop的日志文件logs，一般也都会报错，都在上面，仔细看看。

停止hadoop的命令是stop-all.sh,不建议在没有关闭hadoop时就直接关闭计算机，因为会造成未知错误，重启启动时需要hdfs namenode -format以下，次数多了之后，从节点的datanode就不会启动了，这时候就要把主节点的hadoop目录下的/tmp文件全部删掉，在格式化一次就行了。