ubuntu 虚拟机 完全分布式 hadoop集群搭建 hive搭建 ha搭建

针对分布式hadoop集群搭建，已经在四台虚拟机上，完全搭建好，这里针对整个搭建过程以及遇到的问题做个总结，按照下面的做法应该能够比较顺畅的搭建一套高可用的分布式hadoop集群。

这一系列分布式组件的安装过程中，大体可以分为以下几步：

第一步.配置机器互信

   机器互信配置原理：机器互信是指一个机器可以不需要输入密码的情况下直接登录到另外一台机器，使用证书信任的方式。ftp，telnet等连接方式的弊端是采用明文传输，中间者可以冒充真正的服务器来截取这部分传输数据，从而带来安全问题。ssh是secure shell的简写  两种登录方式 一种是口令登录，输入用户名和密码，另外一种是秘钥验证，自己为自己创建一对秘钥，然后把公钥放在服务器上，如果连接服务器的时候，客户端首先发送请求，里面包含公钥，请求服务器验证，服务器接收到请求后，与自己机器上保存的所有公钥中进行对比验证，如果相同，服务器就把质询信息加密发送给客户端，客户端收到后，用自己的私钥解密，然后把解密结果发给服务器进行验证，验证通过则可以通信。

其实就是三次握手的一来一回，A跟B发公钥  B给A发密文 A解密发个B解密后的东西 可以连接

知道了原理以后，下面来配置机器互信，机器配置互信有下面几个步骤

第一步：创建hadoop用户 

sudo addgroup hadoop

sudo adduser --ingroup hadoop hadoop

      第一行是建立了hadoop组，第二行是添加了hadoop用户，而且该用户是属于hadoop组的

这些可以在当前用户下执行  sudo su - hadoop 来切换到hadoop用户下   中间的小短线- 不要忘记写，表示将环境变量等信息加载到新用户下，可以避免很多不必要的麻烦。但是在hadoop用户  没办法使用sudo 还需要修改一个文件。当使用sudo时，会提示如下错误：

hadoop is not in the sudoers file.  This incident will be reported.

此时，需要修改/etc/sudoers文件 默认这个文件是不可写的 

首先切换到root用户  

sudo su -

      然后修改文件属性 

chmod u+w /etc/sudoers

      给u(user)添加了w(write)权限，测试在root用户下，可以编辑该文件了

添加如下行：

hadoop  ALL=(ALL:ALL) ALL

:wq保存后后恢复文件属性

chmod u-w /etc/sudoers

      切回到hadoop用户下 发现可以使用sudo命令了。

第二步：修改机器名字  比如我的ubuntu虚拟机默认登录上去是verlink@ubuntu，可以选择hadoop用户登录，或者是切换到hadoop用户下，sudo su - hadoop,

修改机器主机名 

sudo vim /etc/hostname

      打开文件后将主机名删除掉 然后换成 hadoop01-namenode  标识这台机器作为hadoop的namenode节点  然后保存退出。此时还需要做映射操作，集群中所有用到的主机名都要做映射 这样才能正常使用ssh hadoop03-datanode 这种命令来登录 否则只能是使用ip地址，下面来说如何做映射。

sudo vim /etc/hosts

      在下面追加需要增加的映射地址即可，比如

hadoop01-namenode 192.168.79.183

      保存退出即可。
      第三步，生成信任证书，也是真正配置互信的地方

ssh-keygen -t rsa

       然后一直回车，证书已经生成

cd ~/.ssh
cat id_rsa.pub

      你会看到公钥内容，创建一个公钥认证的文件