hdp 2.6.2.14-ambari 2.5踩坑记

最新推荐文章于 2022-02-17 10:11:47 发布

天之破晓

最新推荐文章于 2022-02-17 10:11:47 发布

阅读量794

点赞数

分类专栏： hdp 大数据安装文章标签： hdp 大数据搭建

本文链接：https://blog.csdn.net/Y_ZYL/article/details/86766948

版权

大数据同时被 3 个专栏收录

2 篇文章 0 订阅

订阅专栏

安装

2 篇文章 0 订阅

订阅专栏

hdp

1 篇文章 0 订阅

订阅专栏

hdp 2.6.2.14-ambari 2.5踩坑记

官方文档 https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-installation/content/ch_Getting_Ready.html

文章目录

配置hosts

vim /etc/hosts

添加

192.168.10.101	namenode.example.com	namenode
192.168.10.102	datanode01.example.com	datanode01
192.168.10.103	datanode02.example.com	datanode02

在这里插入图片描述

保存退出后发送到其他机器上，最好在连接的笔记本上也加上，不然后面去resourceManager界面查看日志时会报错。

scp -r /etc/hosts root@bigdata2:/etc/

scp -r /etc/hosts root@bigdata3:/etc/

设置SSH免密钥登录

ssh-keygen #生成秘钥

在这里插入图片描述

#发送到其他机器上，记得也要发一份给自己,不然后面会报错
ssh-copy-id namenode
ssh-copy-id datanode01
ssh-copy-id datanode02

在这里插入图片描述

ssh namenode #测试是否可以免秘钥登录

在这里插入图片描述

关闭防火墙

centos7 :

systemctl stop firewalld.service #临时生效
systemctl disable firewalld.service #永久生效

centos6 :

chkconfig iptables off #永久生效
service iptables stop #临时生效

关闭Selinux

#永久关闭
vim /etc/selinux/config
SELINUX=disabled #修改重启后生效

#临时关闭
setenforce 0

禁用Transparent

vim /etc/rc.d/rc.local
添加

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

chmod +x /etc/rc.d/rc.local

保证系统语言是英文

如果系统语言不是英文，在后面的步骤会出错，所以尽量确认一下。

cat /etc/locale.conf

在这里插入图片描述
如果是这样就没问题了。

同步时间

yum -y install ntp
chkconfig ntpd on
ntpdate 0.asia.pool.ntp.org

安装java

最好用不要用openjdk，去官网下个1.8的tar.gz包，所有机器都要装。

可以来这里https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载。

yum remove -y java* #删除自带的java

mv ./jdk-8u201-linux-x64.tar.gz /usr

cd /usr

tar -zxvf jdk-8u201-linux-x64.tar.gz

mv jdk1.8.0_201/ java

然后配置到环境变量上

vim /etc/profile

添加

export JAVA_HOME=/usr/java
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile #刷新环境变量

java -version #测试是否成功

在这里插入图片描述
最后发送到其他机器并刷新就可以了。

scp jdk-8u201-linux-x64.tar.gz datanode01:/usr/

scp jdk-8u201-linux-x64.tar.gz datanode02:/usr/

scp /etc/profile datanode01:/etc/

scp /etc/profile datanode02:/etc/

source /etc/profile

安装mysql

这段有些长，如果不需要考虑版本的话，直接使用yum安装就可以了。

yum install -y mysql

不然可以看一下前面的Centos7源码编译安装mysql5.7的记录。

创建hive用户，数据库：

create database hive  DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci ;
GRANT ALL ON hive.* TO 'hive'@'%';
flush privileges;

搭建http服务器

这一步也可以不执行，该操作主要为了不用安装时才去下载ambari和hdp的包，因为很慢，如果不执行，可以去https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-installation/content/ambari_repositories.html下载对应版本的repo文件到/etc/yum.repos.d/就可以了。

在这里插入图片描述

先用which httpd查看httpd服务是否安装，如果没有则yum install httpd安装服务。

安装成功后使用 service httpd start启动服务。

service httpd status查看状态

在这里插入图片描述
如果是这样说明是ok的，开始下面操作。

先确认ambari-2.5.2.0-centos7.tar.gz 、HDP-2.6.2.14-centos7-rpm.tar.gz 、HDP-UTILS-1.1.0.21-centos7.tar.gz这三个包都下载了，并上传到该服务器上，我是上传到/root/hdp下。

cd /root/hdp
mkdir -p /var/www/html/hdp/HDP-UTILS-1.1.0.21
tar -zxf ambari-2.5.2.0-centos7.tar.gz -C /var/www/html/ 
tar -zxf HDP-2.6.2.14-centos7-rpm.tar.gz -C /var/www/html/hdp
tar -zxf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.21

cp /var/www/html/ambari/centos7/ambari.repo /etc/yum.repos.d/
cp /var/www/html/hdp/HDP/centos7/hdp.repo /etc/yum.repos.d/
cd /etc/yum.repos.d/

打开页面http://ip/地址，如果是下面图片一样就说明是ok的。

在这里插入图片描述

修改ambari.repo和hdp.repo文件

vim ambari.repo

修改

baseurl=http://namenode/ambari/centos7

gpgkey=http://namenode/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

vim hdp.repo

修改

baseurl=http://namenode/hdp/HDP/centos7
gpgkey=http://namenode/hdp/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
baseurl=http://namenode/hdp/HDP-UTILS-1.1.0.21/ 
gpgkey=http://namenode/hdp/HDP-UTILS-1.1.0.21//RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

并分发到所有的机器上。

scp /etc/yum.repos.d/ambari.repo /etc/yum.repos.d/hdp.repo datanode01:/etc/yum.repos.d/
scp /etc/yum.repos.d/ambari.repo /etc/yum.repos.d/hdp.repo datanode02:/etc/yum.repos.d/

安装ambari-server

安装

yum install -y ambari-server

安装后配置ambari-server

ambari-server setup -j /usr/java

-j 是指定java路径，下面主要是配置启动用户和元数据数据库，默认是root和PostgreSQL，如果不需要修改回车就可以了。

启动

chkconfig ambari-server on #开机启动

service ambari-server start#启动

在这里插入图片描述
出现这样提示说明成功了。

安装ambari-agent及相关组件

进入ambari ui界面 http://namenode:8080，默认用户密码是admin,admin。

在这里插入图片描述

设置集群名称

在这里插入图片描述

配上你的安装包地址，如果没有，则使用默认的地址

http://namenode/hdp/HDP/centos7
http://namenode/hdp/HDP-UTILS-1.1.0.21

在这里插入图片描述

填好所有组件的映射名称，并把namenode的ssh文件拷到下面

在这里插入图片描述
等待注册

在这里插入图片描述

期间可能会出现版本不兼容的问题

ERROR 2019-02-05 20:19:36,385 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:618)
ERROR 2019-02-05 20:19:36,386 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

修改 ambari-agent配置可以解决。

vim /etc/ambari-agent/conf/ambari-agent.ini

ssl_verify_cert=0
force_https_protocol=PROTOCOL_TLSv1_2

等待成功就可以了。

在这里插入图片描述

选择需要安装的组件

在这里插入图片描述

选择组件安装的位置

在这里插入图片描述

其他组件安装位置

在这里插入图片描述

修改配置

在这里插入图片描述

确认安装信息

在这里插入图片描述

等待安装成功就可以了。

在这里插入图片描述

天之破晓

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
hdp 2.6.2.14-ambari 2.5踩坑记

hdp 2.6.2.14-ambari 2.5踩坑记官方文档 https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-installation/content/ch_Getting_Ready.html文章目录配置hosts设置SSH免密钥登录关闭防火墙关闭Selinux禁用Transparent保证系统语言是英文同...
复制链接

扫一扫