目录
Ambari安装trafodion 1
资源准备 1
环境准备 3
环境安装 6
环境验证 13
参考:http://trafodion.apache.org/docs/provisioning_guide/index.html#install-ambari
https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_Installing_HDP_AMB/content/_prepare_the_environment.html
操作系统:centos6.7
节点数:2节点
资源准备
traf_ambari - Ambari management pack (plug-in) that is installed on the Ambari Server node
apache-trafodion_server - Trafodion package that is installed on every data node
ambari-2.4.2.0-centos6.tar.gz – ambari package
HDP-2.4.0.0-centos6-rpm.tar.gz – HDP package
HDP-UTILS-1.1.0.20-centos6.tar.gz – HDP-UTILS package
traf_ambari下载:
http://apache.fayea.com/incubator/trafodion/apache-trafodion-2.1.0-incubating/bin/traf_ambari_rpms/traf_ambari-2.1.0-1.noarch.rpm
apache-trafodion_server下载:
http://apache.fayea.com/incubator/trafodion/apache-trafodion-2.1.0-incubating/bin/traf_ambari_rpms/apache-trafodion_server-2.1.0-1.x86_64.rpm
ambari下载:
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz
HDP下载:
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.20.0/HDP-2.4.0.0-centos6-rpm.tar.gz
HDP-UTILS下载:
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz
注意:以下的依赖包在离线安装的时候需要提前下载,如果有外网的情况下,可以不需要提前下载。
下载需要的httpd相关包(用于创建本地仓库使用,如果存在可用的仓库,请忽略)
yum install –downloadonly –downloaddir=/opt/repo-source/createrepo createrepo
yum install –downloadonly –downloaddir=/opt/repo-source/httpd httpd
/opt/repo-source/httpd中下载的如下内容:
apr-1.3.9-5.el6_2.x86_64.rpm
apr-util-1.3.9-3.el6_0.1.x86_64.rpm
apr-util-ldap-1.3.9-3.el6_0.1.x86_64.rpm
httpd-2.2.15-59.el6.centos.x86_64.rpm
httpd-tools-2.2.15-59.el6.centos.x86_64.rpm
mailcap-2.1.31-2.el6.noarch.rpm
/opt/repo-source/createrepo中下载的为如下内容:
createrepo-0.9.9-26.el6.noarch.rpm
deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
libxml2-2.7.6-21.el6_8.1.x86_64.rpm
libxml2-python-2.7.6-21.el6_8.1.x86_64.rpm
python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
下载一些其他依赖包:
yum reinstall –downloadonly –downloaddir=/opt/repo-source/tools ntpdate
yum reinstall –downloadonly –downloaddir=/opt/repo-source/tools nc
repotrack -a x86_64 -p /opt/repo-source/tools/ redhat-lsb
yum reinstall –downloadonly –downloaddir=/opt/repo-source/tools mysql-server
yum reinstall –downloadonly –downloaddir=/opt/repo-source/tools lsof
yum reinstall –downloadonly –downloaddir=/opt/repo-source/tools xerces-c
yum reinstall –downloadonly –downloaddir=/opt/repo-source/tools apr
yum reinstall –downloadonly –downloaddir=/opt/repo-source/tools apr-util
esgynDB的一些其他依赖包。
环境准备
1、 配置ssh免密码登录
ssh-keygen ##一直回车即可,所有节点执行
cd .ssh ##所有节点执行
cat id_rsa.pub >> authorized_keys ##把公钥copy到authorized_keys实现免密码登录
如果某一台服务器需要ssh免密码登录到另一台,把ssh的source的id_rsa.pub拷贝到ssh的destination的authorized_keys。
scp id_rsa.pub centos@192.168.1.117:/home/centos/ #source
cat /home/centos/id_rsa.pub >> authorized_keys #destination
最后验证ssh即可。
2、 关闭防火墙
所有节点执行如下命令:
service iptables stop ##关闭防火墙
chkconfig iptables off ##关闭开机启动
chkconfig –list ##check
3、 关闭selinux
所有节点执行如下命令:
setenforce 0
sed -i ‘s/^SELINUX=.*/SELINUX=disabled/g’ /etc/selinux/config
4、 配置主机名
所有节点执行如下命令:
vi /etc/sysconfig/network
修改HOSTNAME=$your-hostname
hostname $your-hostname
注意:$your-hostname变量为你需要设置的主机名,在所有节点均需配置各自的HOSTNAME即可。在配置之后不需要重启服务器,仅需要重新登录服务器即可。
我的配置示例:
修改HOSTNMAE
vi /etc/sysconfig/network
HOSTNAME=trafodion-118.com
hostname trafodion-118.com
5、 配置hosts
所有节点执行如下命令:
vi /etc/hosts
添加如下配置:(此处为我的主机名对应关系,参考配置即可)
192.168.1.117 trafodion-117.com trafodion-117
192.168.1.118 trafodion-118.com trafodion-118
6、 搭建本地yum源
注意:如果已经存在可用的yum源,此步骤可省略,直接跳到7进行yum源配置即可。
cd /opt/repo-source/httpd
yum -y localinstall *.rpm
mkdir -p /var/www/html
service httpd start
检查http服务是否启用成功。
例如:http://192.168.1.118/
把提前下载的HDP-2.4.0.0-centos6-rpm.tar.gz、HDP-UTILS-1.1.0.20-centos6.tar.gz
和ambari-2.4.2.0-centos6.tar.gz拷贝到/var/www/html/目录下,并且均进行解压。
cd /var/www/html
tar -zxvf ambari-2.4.2.0-centos6.tar.gz
tar -zxvf HDP-2.4.0.0-centos6-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz
验证访问(版本不同,解压之后的目录不同,验证的路径也需要作相应调整,以下为我的验证访问地址,能够访问相关数据即可)
http://192.168.1.118/AMBARI-2.4.2.0/centos6/2.4.2.0-136/
http://192.168.1.118/HDP/centos6/2.x/updates/2.4.0.0/
http://192.168.1.118/HDP-UTILS-1.1.0.20/repos/centos6/
并且把其他TAFODION以及其依赖的相关包加入本地yum源(如果可连接外网,此部分依赖可以不用建立yum源,当然也可以全部都创建yum源使用本地的包)。
mkdir -p /var/www/html/TRAF
把依赖包拷贝到/var/www/html/TRAF中,包括traf_ambari-2.1.0-1.noarch.rpm、apache-trafodion_server-2.1.0-1.x86_64.rpm、jdk-8u101-linux-x64.rpm、ntp-4.2.6p5-10.el6.centos.2.x86_64.rpm、ntpdate-4.2.6p5-10.el6.centos.2.x86_64.rpm 以及ambari依赖的postgresql(postgresql-8.4.20-7.el6.x86_64.rpm|postgresql-libs-8.4.20-7.el6.x86_64.rpm|postgresql-server-8.4.20-7.el6.x86_64.rpm)、unzip-6.0-5.el6.x86_64.rpm、nc-1.84-24.el6.x86_64.rpm、redhat-lsb-4.0-7.el6.centos.x86_64.rpm以及其他的一些依赖包等等。
cd /opt/repo-source/createrepo
yum -y localinstall *.rpm
cd /var/www/html/TRAF
createrepo .
验证是否能够访问:
http://192.168.1.118/TRAF/
7、 配置yum源
vi /etc/yum.repos.d/traf_ambari.repo
[TRAF-AMBARI]
name=TRAF-AMBARI
baseurl=http://192.168.1.118/TRAF
path=/
enabled=1
gpgcheck=0
vi /etc/yum.repos.d/ambari.repo
[Updates-ambari-2.4.2.0]
name=ambari-2.4.2.0 - Updates
baseurl=http://192.168.1.118/AMBARI-2.4.2.0/centos6/2.4.2.0-136/
gpgcheck=1
gpgkey=http://192.168.1.118/AMBARI-2.4.2.0/centos6/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
vi /etc/yum.repos.d/HDP.repo
[HDP-2.4]
name=HDP-2.4
baseurl=http://192.168.1.118/HDP/centos6/2.x/updates/2.4.0.0/
path=/
enabled=1
pgcheck=0
vi /etc/yum.repos.d/HDP-UTILS.repo
[HDP-UTILS-1.1.0.20]
name=HDP-UTILS-1.1.0.20
baseurl=http://192.168.1.118/HDP-UTILS-1.1.0.20/repos/centos6/
path=/
enabled=1
gpgcheck=0
注意:如果可以连接外网,也可以直接配置外网的yum源,但是因为HDP等太大,一般都考虑制作本地yum源进行安装。外网的yum源配置参考官网。
8、 安装ntp
所有节点执行如下命令:
yum install ntp -y
service ntpd start
service ntpd status
9、 安装jdk8
yum install jdk -y
java -version
ll /usr/java ##因为trafodion需要jdk8,所以最好保证在环境中只有jdk8
环境安装
1、 安装traf_ambari(仅在规划的ambari-server节点上安装)
yum install traf_ambari
注意:在安装traf_ambari的过程中ambari-server自动安装,并且ambari-server依赖的postgresql相关包也自动安装。
2、 初始化和启动ambari
注意:如果ambari已经提前安装,那么直接重启ambari-server即可。
ambari-server setup
ambari-server start
ambari-server status
3、 Ambari中安装hdp和trafodion
登录ambari,默认用户名与密码admin/admin
http://192.168.1.118:8080 ##注意:根据你的信息进行登录
点击“Launch Install Wizard”进行部署。
输入Name your cluster,例如:traf_ambari,单机“Next”。
这里选择HDP-2.4版本,其中包括Trafodion服务,此处已经可以看出来Trafodion服务已经注册到了Ambari中管理。
注意:HDP-2.2不支持通过Ambari管理Trafodion,在其服务中不能找到Trafodion。
在redhat6部分输入对应的url,并且勾选“Use RedHat Saellite/Spacewalk”,然后点击“Next”。输入的url示例如下:
http://192.168.1.118/HDP/centos6/2.x/updates/2.4.0.0/
http://192.168.1.118/HDP-UTILS-1.1.0.20/repos/centos6/
http://192.168.1.118/TRAF
输入FQDN和SSH Private Key,点击“Register and Confirm”。
例如FQDN设置为trafodion-118.com和trafodion-117.com,并且把trafodion-118.com的id_rsa内容拷贝的SSh Private Key中,因为trafodion-118.com为ambari-server所在节点,他需要ssh访问其他节点。
此步骤是安装ambari-agent,并且把它注册到ambari-server。
注意:需要检查告警信息,把主机检查告警信息的问题处理掉,然而在点击“Next”。
选择需要安装的服务,Trafodion和其他的一些Hadoop服务均需要勾选。点击“Next”。
把各服务合理的规划在集群的节点上(需要考虑节点的负载情况)。点击“Next”。
选择slave和客户端需要部署,勾选DataNode、NodeManager、RegionServer、Trafodion Node、Client等,然后点击“Next”。
设置hive Database的Database Password的密码,其他保持默认,然后点击“Next”。
检查部署的概况,如果没有问题,点击“Deploy”就自动进行安装了。
安装服务成功之后,点击“Next”继续。
Summary信息,最后点击“Complete”完成安装。
进入首页,可以看到Trafodion服务已经安装。
进入Trafodion服务Tab,并且点击“Service Actions”->”Initialize”进行trafodion数据库初始化(可以在hbase中看到会生成很多trafodion相关的表)。
初始化成功。Ambari安装Trafodion完成。
环境验证
1、验证hdfs能否访问
hdfs dfs -ls /
验证成功。
2、验证hive是否正常可用
hive
create table test(id int);
insert into test values(1);
select (*) from test;
验证成功。
3、验证hbase是否正常可用
base shell
list
验证成功。
4、 验证trafodion是否正常可用
su - trafodion
trafci
get schemas;
create table test(id int);
insert into test values(2);
select count(*) from test;
验证成功。