根据自己的操作系统选择自己适应的版本号
https://supportmatrix.hortonworks.com/
操作系统为centos6.8
选择的ambari版本为2.4.1.0
选择的hdp版本为2.5.0.0
选择的hdp-utils版本为1.1.0.21
下载对应的ambari.repo文件以及ambari的压缩文件包
https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/ambari_repositories.html //更改对应的版本号2.4.1.0
下载对应的hdp压缩包、hdp.repo文件、hdp-utils压缩包
https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/hdp_25_repositories.html //更改对应的版本号2.5.0.0
安装虚拟机环境配置集群信息@TOC
虚拟机分配内存容量至少4G,容量建议至少50G
节点规划
10.172.50.77 yum节点
10.172.50.100 ambari server
10.172.50.101 分节点1
10.172.50.102 分节点2
10.172.50.103 分节点3
10.172.50.104 分节点4
主机配置:
修改网卡
vi /etc/sysconfig/network-scripts/ifcfg-eth0
重启网络服务
service network restart
ping 10.172.50.77 自己查看能不能收到信息
停掉防火墙
service iptables stop
设置防火墙开机不启动
chkconfig iptables off
vi /etc/hosts
vi /etc/sysconfig/network
配置阿里云yum仓库
https://opsx.alibaba.com/mirror
备份系统
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
根据系统下载对应的系统
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
查看文件目录文件
cd /etc/yum.repos.d/
ll
之后运行yum makecache生成缓存
安装时间同步服务
yum install -y ntp
启动时间同步服务
service ntpd start
查看同步服务状态
service ntpd status
设置时间同步服务开机启动
chkconfig ntpd on
输入date命令,查看当前时间
下载java8上传并安装
官网下载java8压缩包(jdk-8u开头),并上传到虚拟机上
创建文件夹方便管理
cd /usr/
mkdir java
tar zxvf jdk-8u…tar.gz -c /usr/java/
修改环境变量
vi /etc/profile
行尾添加
export JAVA_HOME=/usr/java/jdk1.8…
export PATH=
P
A
T
H
:
PATH:
PATH:JAVA_HOME/bin
保存退出后,更新profile
source /etc/profile
输入java -version,应有类似信息返回(安装成功)
关闭selinux 和thp(如果不关闭,THP,hadoop的CPU使用率会很高)
查看selinux状态
sestatus
enabled为启动状态
vi /ect/sysconfig/selinux
设置selinux=disabled
如果出现了下面的结果,说明启动了THP
cat /sys/kernel/mm/transparent_hugepage/defeag
[always] madive nevercat /sys/kernel/mm/transparent_hugepage/enabled
[always]madive never
永久关闭
vi /etc/rc.d/rc.local
添加下列内容:
if test -f /sys/kernel/mm/transparent_hugepage/enable;then
echo never>/sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag;then
echo never>/sys/kernel/mm/transparent_hugepage/defrag
fi
保存退出
重启系统
reboot
//检查,如果我这种情况说明已被禁用
cat /sys/kernel/mm/transparent_hugepage/defeag
always madive [never]cat /sys/kernel/mm/transparent_hugepage/enabled
always madive [never]
删除文件
rm /etc/udev/rules.d/70-persistent-net.rules
克隆其他子节点
子节点重复以下步骤
更改其他节点的ip节点
vi /etc/sysconfig/network-scripts/ifcfg-eth0
根据规划的IP地址修改好
删除硬件的地址
删除文件
rm /etc/udev/rules.d/70-persistent-net.rules
修改主机名
vi /etc/sysconfig/network
HOSTNAME=nd-00.hdp(规划的子节点)
reboot
子节点操作到这里结束
在nd-00节点安装mysql
yum list mysql-server
yum install mysql-server
service mysqld start //根据提示设置密码
/usr/bin/mysqladmin -u root password root123 //密码不要用纯数据
/chkconfig mysqld on //设置开机自动启动
vi /etc/my.cnf
在[client]下添加
default-character-set=utf8
在[mysqld]下添加
collation_server=utf8_general_ci
character_set_server=utf8
default-storage-engine=INNODB
保存退出
service mysqld restart
mysql -uroot -p root123
Mysql>>show variables like ‘character_set_%’; //查看编码
创建ambari数据库及数据库用户名密码
mysql>create database ambari character set utf8;
mysql>create user ‘ambari’@ %‘IDENTIFIED’ BY ‘Ambari123’;
mysql>grant all privileges on ambari.* to’ambari’@’%’;
mysql>flush privileges;
mysql>exit;
创建hive数据库及hive库的用户名和密码
mysql>create database hive character set utf8;
mysql>create USER ‘hive’@’%‘IDENTIFIED BY ‘Hive123’;
mysql>GRANT ALL PRIVILEGES ON hive.* TO ‘hive’@’%’;
mysql>FLUSH PRIVILEGES;
mysql>exit;
安装mysql-java驱动
yum install mysql-connector-java
配置hdp-00.hdp和其他子节点的免密登录
在hdp-00.hdp输入
ssh-keygen -t rsa //一路回车
ssh-copy-id nd-00.hdp//输入密码
ssh-copy-id nd-01.hdp//输入密码
ssh-copy-id nd-02.hdp//输入密码
ssh-copy-id nd-03.hdp//输入密码
ssh-copy-id nd-04.hdp//输入密码
若scp命令不执行,执行yum install -y openssh-clients
配置hdp-01.hdp到其他子节点的免密登录
在hdp-01.hdp输入
ssh-keygen -t rsa //一路回车
ssh-copy-id nd-01.hdp//输入密码
ssh-copy-id nd-02.hdp//输入密码
ssh-copy-id nd-03.hdp//输入密码
ssh-copy-id nd-04.hdp//输入密码
配置ambari-hdp的yum源
安装yum相关工具
在yum主机输入
yum install yum -utils -y
yum repolist
yum install createrepo -y
安装Apache httpd
yum install httpd -y
安装完httpd后,会生成/var/www/html 目录相当于Tomcat的webapps目录进入到/var/www/html目录下,创建ambari和hdp目录用来存放安装文件
cd /var/www/html
mkdir /var/www/html/ambari
mkdir /var/www/html/HDP
mkdir /var/www/html/HDP/HDP-UTILS
tar -zxvf ambari-2.4.1.0-centos6.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-2.5.0.0-centos6-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf HDP-UTILS-1.1.0.21-centos6.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.21/
解压完成后可以查看http://youraddress/ 查看对应的文件目录如http://10.172.50.77/ambari/ 配置repo文件时查看对应的文件目录是否存在看情况修改对应的baseurl
设置httpd开机启动
chkconfig httpd on
配置本地repo文件
配置Ambari
//yum install -y wget
wget -O /etc/yum.repos.d/ambari.repo http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.1.0/ambari.repo //2.4.1.0为ambari的版本号
下载失败的话直接创建文件
vi /etc/yum.repo.d/ambari.repo //内容如下
#VERSION_NUMBER=2.4.1.0-22
name=ambari-2.4.1.0 - Updates
baseurl=http://youripaddress/ambari/AMBARI-2.4.1.0/centos6/2.4.1.0/
gpgchck=1
gpgkey=http://youripaddress/ambari/AMBARI-2.4.1.0/centos6/2.4.1.0-22/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
保存退出
配置HDP
创建文件
touch /etc/yum.repo.d/HDP.repo
vi /etc/yum.repo.d/HDP.repo
内如如下:
#VERSION_NUMBER=2.5.0.0-1245
[HDP-2.5.0.0]
name=HDP Version - HDP-2.5.0.0
baseurl=http://youripaddress/HDP/centos6/2.x/updates/2.5.0.0
gpgcheck=1
gpgkey=http://youripaddress/HDP/centos6/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://youripaddress/HDP-UTILS-1.1.0.21/repos/centos6
gpgcheck=1
gpgkey=http://youripaddress/HDP/centos6/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
保存退出
分发Ambari.repo文件和HDP.repo文件
#yum install openssh-clients
cd /etc/yum.repo.d/
scp ambari.repo HDP.repo nd-00.hdp:
P
W
D
s
c
p
a
m
b
a
r
i
.
r
e
p
o
H
D
P
.
r
e
p
o
n
d
−
01.
h
d
p
:
PWD scp ambari.repo HDP.repo nd-01.hdp:
PWDscpambari.repoHDP.repond−01.hdp:PWD
scp ambari.repo HDP.repo nd-02.hdp:
P
W
D
s
c
p
a
m
b
a
r
i
.
r
e
p
o
H
D
P
.
r
e
p
o
n
d
−
03.
h
d
p
:
PWD scp ambari.repo HDP.repo nd-03.hdp:
PWDscpambari.repoHDP.repond−03.hdp:PWD
scp ambari.repo HDP.repo nd-04.hdp:$PWD
生成本地源
使用createrepo命令,用于创建软件仓库
createrepo /var/www/html/hdp/HDP/centos6
createrepo /var/www/html/hdp/HDP-UTILS-1.1.0.21/
安装Ambari-Server
######nd-00.hdp节点安装
yum installambari-server
安装完成后设置ambari-server
ambari-server setup
提示自定义ambari-server后台进程,输入y后,提示输入用户管理账号:root
提示检查JDK后选3(用户自定义JAVA_HOME路径)
/usr/java/jdk1.8…/
提示输入高级的数据库配置,输入y,配置数据库选项选择3
提示输入hostname:nd-00,提示输入端口号、数据库名、用户名回车跳过(括号内为默认选项),提示输入数据库密码Amberi123
警告提示:在启动ambari server前需要运行,路径下的sql文件,把路径记录下来
/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
下面提示 配置远程数据库连接配置,输入y
mysql授权允许远程连接(ambari可能会用localhost或者ip地址连接到数据库)
mysql -uroot -p,输入密码
mysql>GRANT ALL PRIVILEGES ON ambari.*TO ‘ambari’@‘localhost’ IDENTIFIED BY ‘Ambari123’;
mysql>GRANT ALL PRIVILEGES ON ambari.*TO ‘ambari’@’%’ IDENTIFIED BY ‘Ambari123’;
mysql>FLUSH PRIVILEGES;
mysql>exit;
登录ambari 用户
mysql -u ambari -p -hnd-00,输入ambari用户密码
mysql>use ambari;
mysql>source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; //上面记录的文件路径
mysql>exit;
启动ambari server
ambari-server start
启动成功信息
安装Agent
在所有的nd-00/01/02/03/04.hdp安装ambari-agent
yum install -y ambari-agent //安装
service ambari-agent start //启动
登录ambari
在浏览器查看http://youripaddress:8080/ 查看ambari的窗口页面,用户名、密码默认admin
执行安装向导
集群起名
选择对应的HDP版本
选择本地安装路径
填写节点名称
节点nd-00打开sftp窗口,get /root/.ssh/id_rsa ###后面可以加本地文件路径,默认保存在我的文档
将下载的文件选中
全通过之后选择下一步
选择需要安装的服务
安装的配置到这里完成了,后面可以按照默认配置安装或者根据个人选择。
来到hive的安装页
在ambari-server节点执行上图的粗体字,更改最后的jdbc-driver配置路径
配置完成。