基于ambari的hadoop集群和spark安装

简介：在两台服务器（一台为ubuntu14.04，另一台为redhat 6）上通过ambari搭建hadoop环境，并启用spark。

            打算将ubuntu作为server，redhat 6作为client。

1. 实现两台服务器的互相无密登陆

ubuntu的ip为10.20.31.202，主机名（hostname）为server204，全限定域名FQDN为server204

redhat 6的ip为10.20.31.201，主机名（hostname）为server201，全限定域名FQDN为server201

备注：hostname的查询用hostname命令。

            fqdn的查询用hostname -f命令。

1.1 ubuntu修改主机名和全限定域名

主机名修改：

sudo nano /etc/hostname    在其中填写主机名即可。

全限定域名修改：

sudo nano /etc/hosts    在其中添加一行127.0.1.1    server204

1.2 redhat 6修改主机名和全限定域名

主机名修改：

sudo nano   / etc / sysconfig / network  修改 HOSTNAME后值为server201

全限定域名修改：

sudo nano /etc/hosts    在其中添加一行127.0.1.1    server201

1.3 生成ssh密钥对

前提：服务器ssh服务已装好并可用。

• ubuntu服务器
  

生成密钥对：

ssh-keygen -t rsa -P ""

然后指定密钥对存储位置和文件名：

输入：/home/ubuntu/.ssh/id_rsa

在/home/ubuntu/.ssh目录下看到密钥对id_rsa和id_rsa.pub，前者为私钥，后者为公钥。

现在我们将公钥追加到authorized_keys中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   （备注：~默认代表用户目录，在此服务器上为/home/ubuntu目录）

ssh localhost  或  sshserver201

可以发现本机可以无密登陆到自己机器了。

• redhat 6服务器

重复上面操作。

注意：redhat 6需要修改authorized_keys的权限，（这一步很重要不然的话，SSH时仍然需要密码）

    使用命令    chmod 600 authorized_keys 

然后将ubuntu（server204）中id_rsa.pub公钥拷贝到redhat 6（server201）中/home/ubuntu目录下

执行命令    cat ~/id_rsa.pub >> ~/.ssh/authorized_keys     将此公钥添加到授信文件中

这样做之后，server204就能无密登陆到server201了。

同理，server201要能无密登陆到server204，需要将server201的公钥添加到server204的authorized_keys中。

2. 安装ambari

https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public+Repositories

上面为官网教程，很详细，就不写了。

我是在ubuntu系统上安装的。

3. Ambari 的 网页配置

1、在浏览器中输入： http://10.20.31.202:8080/  用户名密码都是admin

2、选择hadoop版本

3、进入集群部署界面，我的输入如下：

4、点击下一步，然后是安装ambari_client到redhat 6服务器

出现错误！

错误解决：

原因：自己ssh账号用的是ubuntu，不是root

网页中第三步ssh account更换为root后，需要server201用root账号登录，生成密钥对（前面是用ubuntu生成的密钥对），并将server204的公钥加入到自己的root /.ssh/authorized_keys  中，注意修改 authorized_keys 权限为600。

上面做好之后还是报错，错误信息如下：

==========================

Creating target directory...

==========================

Command start time 2016-01-05 09:40:21

chmod: cannot access `/var/lib/ambari-agent/data': No such file or directory

Connection to server201 closed.

SSH command execution finished

host=server201, exitcode=0

Command end time 2016-01-05 09:40:22

==========================

Copying common functions script...

==========================

Command start time 2016-01-05 09:40:22

scp /usr/lib/python2.6/site-packages/ambari_commons

host=server201, exitcode=0

Command end time 2016-01-05 09:40:22

==========================

Copying OS type check script...

==========================

Command start time 2016-01-05 09:40:22

scp /usr/lib/python2.6/site-packages/ambari_server/os_check_type.py

host=server201, exitcode=0

Command end time 2016-01-05 09:40:22

==========================

Running OS type check...

==========================

Command start time 2016-01-05 09:40:22

Cluster primary/cluster OS family is ubuntu14 and local/current OS family is redhat6

Traceback (most recent call last):

  File "/var/lib/ambari-agent/tmp/os_check_type1452004822.py", line 44, in <module>

    main()

  File "/var/lib/ambari-agent/tmp/os_check_type1452004822.py", line 40, in main

    raise Exception("Local OS is not compatible with cluster primary OS family. Please perform manual bootstrap on this host.")

Exception: Local OS is not compatible with cluster primary OS family. Please perform manual bootstrap on this host.

Connection to server201 closed.

SSH command execution finished

host=server201, exitcode=1

Command end time 2016-01-05 09:40:22

ERROR: Bootstrap of host server201 fails because previous action finished with non-zero exit code (1)

ERROR MESSAGE: Connection to server201 closed.

STDOUT: Cluster primary/cluster OS family is ubuntu14 and local/current OS family is redhat6

Traceback (most recent call last):

  File "/var/lib/ambari-agent/tmp/os_check_type1452004822.py", line 44, in <module>

    main()

  File "/var/lib/ambari-agent/tmp/os_check_type1452004822.py", line 40, in main

    raise Exception("Local OS is not compatible with cluster primary OS family. Please perform manual bootstrap on this host.")

Exception: Local OS is not compatible with cluster primary OS family. Please perform manual bootstrap on this host.

Connection to server201 closed.

可以看出错误原因是：两台服务器操作系统不同，不能自动安装，需要自己手动安装引导程序。

操作系统不同问题的解决：

参考文档：http://pivotalhd.docs.pivotal.io/docs/install-ambari.html

• 手动安装ambari-agent

和安装ambari-server类似，只不过安装命令改为sudo yum install ambari-agent

然后修改/etc/ambari-agent/conf/ambari-agent.ini文件，指定服务器为server204，如下图：

载启动ambari-agent，执行命令sudo ambari-agent start

• 网页配置

选择手动注册，入下图：

然后发现注册成功！

然后有一些问题要解决，如若防火墙的关闭等

http://pivotalhd.docs.pivotal.io/docs/install-ambari.html          这个网页写的很详细。

来自为知笔记(Wiz)