注:文中出现的test1,app1,在;zlbw1,三个主机名可以认为是一个,文章是在搭建三个中编写
服务器 | Ip | jdk | Ambari | 机器系统 |
Zlbw1 | 192.168.159.101 | 2.4.2.0 | CenOS6.5 | |
Zlbw2 | 192.168.159.101 | 1.8 |
| CenOS6.5 |
Zlbw3 | 192.168.159.101 | 1.8 |
| CenOS6.5 |
1、设置hosts映射
192.168.159.101 zlbw1
192.168.159.102 zlbw2
192.168.159.103 zlbw3
2、设置免登陆
1.生成ssh免登陆密钥:ssh-keygen -t rsassh-keygen -t rsa (四个回车)ssh-keygen -t rsa---生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
2.公钥授权:ssh-copy-id其他机器 或者把公钥追加到授权的key中---cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
3、单机安装JDK
usr/local下创建文件夹java:mkdir java
将jdk放至java文件夹并解压
tar -zxvf jdk...........
配置环境变量
vi /etc/profile
G跳至末尾
4、拷贝jdk和环境变量
scp -r /usr/local/java zlbw2:/usr/local
scp-r /etc/profile zlbw2:/ etc /
scp -r /usr/local/java zlbw3:/usr/local
scp-r/etc/profilezlbw3:/ etc /
5、安装mysql
检查是否已经安装了mysql
rpm -qa | grep -i mysql
如果有,可以删除mysql
也可以不删除使用系统自带
删除:(root权限下)
yum -y remove 系统自带版本
rpm -ivhMySQL-server-5.5.45-1.linux2.6.x86_64.rpm --force --nodeps
rpm -ivhMySQL-client-5.5.45-1.linux2.6.x86_64.rpm --force --nodeps
/usr/bin/mysql_install_db
service mysql start
mysql
mysql>create databse ambari;
mysql>insert intomysql.user(Host,User,Password) values("zlbw1","ambari",password("ambari");
mysql>flush privileges;
mysql>exit;
service mysql restart
mysql
mysql>grant all privileges on ambari.* to ambari@ zlbw1 identified by'ambari';
mysql>flush privileges;
mysql>exit;
不删除:
mysql
mysql>create databse ambari;
mysql>insert intomysql.user(Host,User,Password) values("zlbw1","ambari",password("ambari"));
mysql>grant all privileges on ambari.* to ambari@ zlbw1 identified by 'ambari';
mysql>flush privileges;
mysql>exit;
6、安装Ambari
将Ambari存储库文件下载到安装主机上的目录。
wget -nvhttp://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari.repo-O /etc/yum.repos.d/ambari.repo
注:如没有wget,需要安装wget,命令yum -y install wget 安装
通过检查repo列表确认存储库已配置
yum repolist
安装Ambari
yum install ambari-service
或
yum -yinstall ambari-server
安装时间很长,也可以事先下载好安装包离线安装
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz
安装完成后
7、数据库设置
找一个连接器,我这里是从我本地maven库里找的
下载地址:http://dl.download.csdn.net/down10/20150629/6b770f319812fc917c331a576928db24.jar?response-content-disposition=attachment%3Bfilename%3D%22mysql-connector-java-5.1.35.jar%22&OSSAccessKeyId=9q6nvzoJGowBj4q1&Expires=1500549914&Signature=ns93wOxOb4dV%2FDBFCOM8F7DjLBU%3D
先在/usr/share下创建java目录
把这个包分别拷贝进
/usr/share/java
/usr/lib/ambari-server
数据库root没有密码
mysql ambari</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
数据库有密码
mysql ambari -uroot -proot</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
ambari-server setup
密码我设置的是ambari
8、其他问题设置:
8.1关闭linux swap
执行:cat /proc/sys/vm/swappiness
结果为0表示已经关闭,否则执行
sysctl -wvm.swappiness=0
vi/etc/sysctl.conf
在最后添加:vm.swappiness=0
然后执行: sysctl -p /etc/sysctl.conf
可以看到刚才设置的vm.swappiness=0,设置成功
8.2关闭selinux
执行立即关闭命令:setenforce 0
查看状态:getenforce
显示:Permissive
表示已经关闭
永久关闭:vi /etc/selinux/config
将SELINUX=enforcing改成SELINUX=disabled
保存,然后需要重启系统
查看selinux状态,执行:sestatus -v
显示:SELinux status: disabled
表示已经关闭。
8.3安装ntpd
查看是否安装ntp
rpm -aq | grep ntpd
安装:yum install ntp
开机启动:chkconfig ntpd on
启动:service ntpd start
9、启动ambari
ambari-server start
登陆网址
http://zlbw1:8080
或
http://192.168.159.101:8080
默认admin
admin
10、搭建集群
10.1、点击创建集群
10.2、设置集群名称
10.3、选择HDP版本和库
选择库有两种,一种是公共库,一种是本地库
建立分支:
分支一:公共库
根据linux版本选择
比如我的是centos6.5,只选择redhat6就行,其他版本可以remove;
点击NEXT
10.3.1、主机名和SSH私钥
私钥是ambari所在主机的秘钥
WINscp将/root/.ssh/下的id_rsa下载下来
点击选择文件,选择id_rsa
Register andConfirm
ok
10.3.1、开始安装
安装成功,但是警告,
Click here to seethe warnings.
如果是:THP问题在每台机器上执行:
echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never >/sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/defrag
如果是用户问题,每台机器上执行:
python/usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip =users
返回后NEXT
选择服务
选择后NEXT
好
选择服务安装的机器,之后NEXT
自定义服务
如果进去这个页面,在服务上有红色标识的事需要需要设置账户、密码
默认170
next --->部署--->
自动安装一夜后:
点击stoped,选择start
跳出安装列表
Start Activity Anyalyzer:
之后发现都是这种:
有两种情况会导致
1、防火墙
2、没有安装httpd服务或者服务没有开启
进入hive view
显示没有该文件
解决方案1:
使用dfs的创建者操作
sudo -uhdfs hadoop fs -mkdir /user/admin
sudo -uhdfs hadoop fs -chown admin:hadoop/user/admin
启动高可用
HDFS-----> Service Actions----> EnableNameNode HA
1、
2、
3、
4、
选择namenode
next
5、
next
6、需要手动设置,进入app1(zlbw1,test1)运行图中命令
next
7、自动完成
next
8、手动初始化JournalNodes
next
9、自动完成启动组件
10、手动初始化元数据
图中的两条命令分别在不同的机器上执行
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
以上是我上月做的文档,这一步后面没有内容了
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------