Centos7搭建zookeeper集群

centos7与之前的版本都不一样，修改主机名在/ect/hostname 和/ect/hosts 这两个文件控制

首先修改/ect/hostname

vi /ect/hostname

打开之后的内容是：

localhost.localdomain

把它修改成你想要的名字就可以，比如： niukou.com

保存退出

然后修改/ect/hosts文件

vi /ect/hosts

打开之后的内容是：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

然后你在里面加一行：

IP   niukou.com

保存退出，然后重启机器，这时候你就可以通过hostname来访问这台机器的服务了

 

 

 

CentOS 下SSH无密码登录的配置

 

最近学习Hadoop。它要求各节点之间通过SSH无密码登录，配置SSH的时候费了一番功夫，记录下来，以备忘。

配置SSH无密码登录需要3步：

    1.生成公钥和私钥

    2.导入公钥到认证文件,更改权限

    3.测试

 

1.生成公钥和私钥

  

 

Shell代码  

1. ssh-keygen -t rsa

  
   默认在 ~/.ssh目录生成两个文件：
    id_rsa      ：私钥
    id_rsa.pub  ：公钥

2.导入公钥到认证文件,更改权限

    2.1 导入本机

Shell代码  

1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

 

    2.2 导入要免密码登录的服务器

        首先将公钥复制到服务器

Shell代码  

1. scp ~/.ssh/id_rsa.pub xxx@host:/home/xxx/id_rsa.pub  

        然后，将公钥导入到认证文件，这一步的操作在服务器上进行

Shell代码  

1. cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 

 

    2.3 在服务器上更改权限

      

Shell代码  

1. chmod 700 ~/.ssh
2. chmod 600 ~/.ssh/authorized_keys  

   

3.测试

    ssh host，第一次登录可能需要yes确认，之后就可以直接登录了。

 

 

1、集群部署介绍

1.1 Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任 务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

1.2 环境说明

我的环境是在虚拟机中配置的，Hadoop集群中包括4个节点：1个Master，2个Salve，节点之间局域网连接，可以相互ping通，节点IP地址分布如下：

 

虚拟机系统	机器名称	IP地址
Ubuntu 13.04	Master.Hadoop	192.168.1.141
Ubuntu 9.11	Salve1.Hadoop	192.168.1.142
Fedora 17	Salve2.Hadoop	192.168.1.137

 

Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode 和TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Master服务器宕机，还有一个备用马上启用。后续经验积累一定阶段后补上一台备用Master机器（可通过配置文件修改备用机器数）。

    注意：由于hadoop要求所有机器上hadoop的部署目录结构要求相同（因为在启动时按与主节点相同的目录启动其它任务节点），并且都有一个相同的用户名账户。参考各种文档上说的是所有机器都建立一个hadoop用户，使用这个账户来实现无密码认证。这里为了方便，分别在三台机器上都重新建立一个hadoop用户。

1.3 环境配置

Hadoop集群要按照1.2小节表格所示进行配置，下面介绍如何修改机器名称和配置hosts文件，以方便使用。

注意：我的虚拟机都采用NAT方式连接网络，IP地址是自动分配的，所以这里就使用自动分配的IP地址而未特地修改为某些IP地址。

（1）修改当前机器名称

假定我们发现我们的机器的主机名不是我们想要的。

1）在Ubuntu下修改机器名称

修改文件/etc/hostname里的值即可，修改成功后用hostname命令查看当前主机名是否设置成功。

      另外为了能正确解析主机名，最好也修改/etc/hosts文件里对应的主机名 
      

2）在Fedora下修改机器名称

通过对"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值，改成我们规定的名称。

命令：vi /etc/sysconfig/network，修改如下： 
     
        

    同样为了能正确解析主机名，最好也修改/etc/hosts文件里对应的主机名。

（2）配置hosts文件（必须）

"/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostName  IP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名对应的IP地址。

我们要测试两台机器之间知否连通，一般用"ping 机器的IP"，如果想用"ping 机器的主机名"发现找不见该名称的机器(这也就是为什么在修改主机名的同时最好修改该文件中对应的主机名)，解决的办法就是修改"/etc/hosts"这个文件，通过把LAN内的各主机的IP地址和HostName的一一对应写入这个文件的时候，就可以解决问题。

例如：机器为"Master.Hadoop:192.168.1.141"对机器为"Salve1.Hadoop:192.168.1.142"用命令"ping"记性连接测试。测试结果如下： 
    

从上图中的值，直接对IP地址进行测试，能够ping通，但是对主机名进行测试，发现没有ping通，提示"unknown host——未知主机"，这时查看"Master.Hadoop"的"