Centos6.5+Ambari的HDP搭建

注：文中出现的test1，app1，在；zlbw1，三个主机名可以认为是一个，文章是在搭建三个中编写

服务器	Ip	jdk	Ambari	机器系统
Zlbw1	192.168.159.101	1.8	2.4.2.0	CenOS6.5
Zlbw2	192.168.159.101	1.8		CenOS6.5
Zlbw3	192.168.159.101	1.8		CenOS6.5

 

 

1、设置hosts映射

192.168.159.101  zlbw1

192.168.159.102  zlbw2

192.168.159.103  zlbw3

2、设置免登陆

    1.生成ssh免登陆密钥：ssh-keygen -t rsassh-keygen -t rsa （四个回车）ssh-keygen -t rsa---生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
         2.公钥授权：ssh-copy-id其他机器 或者把公钥追加到授权的key中---cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

3、单机安装JDK

   

         usr/local下创建文件夹java：mkdir java

         将jdk放至java文件夹并解压

         tar -zxvf jdk...........

         配置环境变量

         vi /etc/profile

         G跳至末尾

        

4、拷贝jdk和环境变量

         scp -r /usr/local/java zlbw2:/usr/local

         scp-r /etc/profile zlbw2:/ etc /

 

         scp -r /usr/local/java zlbw3:/usr/local

         scp-r/etc/profilezlbw3:/ etc /

 

5、安装mysql

         检查是否已经安装了mysql

         rpm -qa | grep -i mysql

如果有，可以删除mysql

也可以不删除使用系统自带

删除：（root权限下）

yum -y remove 系统自带版本

 

rpm -ivhMySQL-server-5.5.45-1.linux2.6.x86_64.rpm --force --nodeps

rpm -ivhMySQL-client-5.5.45-1.linux2.6.x86_64.rpm --force --nodeps

 

/usr/bin/mysql_install_db

service  mysql  start

 

mysql

mysql>create databse ambari;

mysql>insert intomysql.user(Host,User,Password) values("zlbw1","ambari",password("ambari");

mysql>flush privileges;

mysql>exit;

service  mysql  restart

 

mysql

mysql>grant all privileges on ambari.* to ambari@ zlbw1 identified by'ambari';

mysql>flush privileges;

mysql>exit;

 

 

 

 

不删除：

mysql

mysql>create databse ambari;

mysql>insert intomysql.user(Host,User,Password) values("zlbw1","ambari",password("ambari"));

mysql>grant all privileges on ambari.* to ambari@ zlbw1  identified by 'ambari';

mysql>flush privileges;

mysql>exit;

 

 

 

6、安装Ambari

         将Ambari存储库文件下载到安装主机上的目录。

         wget -nvhttp://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari.repo-O /etc/yum.repos.d/ambari.repo

         注：如没有wget，需要安装wget，命令yum -y install wget 安装

         通过检查repo列表确认存储库已配置

         yum repolist

 

安装Ambari

yum install ambari-service

或

yum  -yinstall ambari-server

 

安装时间很长，也可以事先下载好安装包离线安装

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz

 

安装完成后

7、数据库设置

找一个连接器，我这里是从我本地maven库里找的

下载地址：http://dl.download.csdn.net/down10/20150629/6b770f319812fc917c331a576928db24.jar?response-content-disposition=attachment%3Bfilename%3D%22mysql-connector-java-5.1.35.jar%22&OSSAccessKeyId=9q6nvzoJGowBj4q1&Expires=1500549914&Signature=ns93wOxOb4dV%2FDBFCOM8F7DjLBU%3D

先在/usr/share下创建java目录

把这个包分别拷贝进

                            /usr/share/java

                            /usr/lib/ambari-server

数据库root没有密码

mysql ambari</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

 

数据库有密码

mysql ambari -uroot -proot</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

 

ambari-server setup

密码我设置的是ambari

 

8、其他问题设置：

8.1关闭linux swap

         执行:cat /proc/sys/vm/swappiness

         结果为0表示已经关闭，否则执行

         sysctl -wvm.swappiness=0

         vi/etc/sysctl.conf

         在最后添加:vm.swappiness=0

         然后执行: sysctl -p /etc/sysctl.conf

         可以看到刚才设置的vm.swappiness=0，设置成功

 

         8.2关闭selinux

    执行立即关闭命令:setenforce 0

    查看状态:getenforce

 

    显示:Permissive

    表示已经关闭

    永久关闭:vi /etc/selinux/config

    将SELINUX=enforcing改成SELINUX=disabled

    保存，然后需要重启系统

    查看selinux状态，执行:sestatus -v 

    显示:SELinux status: disabled

    表示已经关闭。

 

8.3安装ntpd

         查看是否安装ntp

     rpm -aq | grep ntpd

     安装：yum install ntp

     开机启动：chkconfig ntpd on

     启动：service ntpd start

 

 

9、启动ambari

   ambari-server start

 

 

 

登陆网址

         http://zlbw1:8080

         或

         http://192.168.159.101:8080

 

 

默认admin

         admin

 

10、搭建集群

    10.1、点击创建集群

 

10.2、设置集群名称

10.3、选择HDP版本和库

选择库有两种，一种是公共库，一种是本地库

建立分支：

分支一：公共库

         根据linux版本选择

         比如我的是centos6.5，只选择redhat6就行，其他版本可以remove；

         点击NEXT

 

10.3.1、主机名和SSH私钥

私钥是ambari所在主机的秘钥

         WINscp将/root/.ssh/下的id_rsa下载下来

         点击选择文件，选择id_rsa

        

         Register andConfirm

         

       ok

10.3.1、开始安装

安装成功，但是警告，

Click here to seethe warnings.

如果是：THP问题在每台机器上执行：

echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag 

echo never >/sys/kernel/mm/redhat_transparent_hugepage/enabled 

echo never >/sys/kernel/mm/transparent_hugepage/enabled 

echo never >/sys/kernel/mm/transparent_hugepage/defrag

 

如果是用户问题，每台机器上执行：

python/usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip =users

 

返回后NEXT

选择服务

选择后NEXT

 好

 

选择服务安装的机器，之后NEXT

         

 

自定义服务

如果进去这个页面，在服务上有红色标识的事需要需要设置账户、密码

 

默认170

 

 

next --->部署--->

自动安装一夜后：

点击stoped，选择start

跳出安装列表

Start Activity Anyalyzer:

之后发现都是这种：

 

有两种情况会导致

1、防火墙

2、没有安装httpd服务或者服务没有开启

 

 

 

 

进入hive view

显示没有该文件

解决方案1：

使用dfs的创建者操作

sudo -uhdfs hadoop fs -mkdir  /user/admin

sudo -uhdfs hadoop fs -chown admin:hadoop/user/admin

 

启动高可用

HDFS-----> Service Actions----> EnableNameNode HA 

1、

2、

3、

4、

 

选择namenode

next

 

5、

next

6、需要手动设置，进入app1（zlbw1,test1）运行图中命令

next

7、自动完成

next

8、手动初始化JournalNodes

next

 

9、自动完成启动组件

10、手动初始化元数据

图中的两条命令分别在不同的机器上执行

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

以上是我上月做的文档，这一步后面没有内容了

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------