CentOS7安装Cdh5

最新推荐文章于 2023-10-23 23:27:27 发布
置顶 最新推荐文章于 2023-10-23 23:27:27 发布
阅读量471 收藏
点赞数 3
分类专栏： 架构 文章标签： Cdh CentOS 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/god__send/article/details/83342822
版权

一、准备环境

1.机器配置

至少三台物理机或者虚拟机
安装CentOS7 mini版，要求可以互相通信
我的是4台虚拟机，配置均为2G+20G
192.168.65.101 n1
192.168.65.102 n2
192.168.65.103 d1
192.168.65.104 d2

2.必要的软件

CDH离线安装镜像

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1
manifest.json

cloudera-manager

cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz

mysql—用于保存Hive、Hue、Oozie的数据信息

mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar

Java—hadoop运行依赖平台

jdk-8u191-linux-x64.tar.gz

Python—如未安装Python则Hue检查不能通过，CentOS 7 默认集成（如果没有，自行安装）

Python-2.7.15.tgz

2.配置Yum（非必须）

1）备份

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2）下载新的CentOS-Base.repo 到/etc/yum.repos.d/，如果没有wget命令，可使用**yum install wget**安装或者使用curl

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

或者

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

3）运行yum makecache生成缓存

二、准备安装

1.主机名（所有节点）

vi /etc/sysconfig/network修改hostname：

NETWORKING=yes
HOSTNAME=n1

vi /etc/hostname修改hostname：

n1

2.hosts域名映射（所有节点）

直接写入/etc/host或者 vi /etc/host

cat>>/etc/hosts<<EOF
192.168.65.101 n1
192.168.65.102 n2
192.168.65.103 d1
192.168.65.104 d2
EOF

3.免密配置（所有节点）

所有节点：ssh-keygen 一路回车
所有节点：ssh-copy-id n1 输入yes和密码
[root@n1 ~]# scp /root/.ssh/authorized_keys root@n2:/root/.ssh/
使用ssh d1互相访问 消除yes确认

4.关闭防火墙（所有节点）

临时关闭：systemctl stop firewalld.service
永久关闭：systemctl mask firewalld.service

5.关闭SELinux（所有节点）

vi /etc/selinux/config

修改SELINUX=disabled
重启生效

6.配置NTP（所有节点）

安装
所有节点： yum install ntp
关闭 与NTP相冲突的工具chrony 开机自启

systemctl disable chronyd

设置开机启动
所有节点： chkconfig ntpd on
修改从节点ntp server为主节点

vi /etc/ntp.conf

将

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

改为

server n1 iburst

服务启动
所有节点： service ntpd start

7.安装Java（所有节点）

可先在主节点上安装，然后scp到其他节点
[root@n1 ~]# mkdir /usr/java
[root@n1 ~]#tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/java
[root@n1 ~]#执行

cat>>/etc/profile<<EOF
export JAVA_HOME=/usr/java/jdk1.8.0_191
export PATH=\$JAVA_HOME/bin:\$PATH
export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
EOF

放入mysql的jdbc
[root@n1 ~]# tar -zxvf mysql-connector-java-5.1.46.tar.gz
[root@n1 ~]#cp mysql-connector-java-5.1.46-bin.jar /usr/java/
复制到其他节点
[root@n1 ~]# scp -r /usr/java root@n2:/usr/
[root@n1 ~]# scp -r /etc/profile root@n2:/etc/
所有节点：source /etc/profile
所有节点：java -version 出现jdk版本则安装成功

8.创建用户（所有节点）

注意–home即cloudera-manager解压所在的目录

useradd --system --home=/opt/cm-5.15.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

9.安装MySQL（任一节点安装即可）

1）卸载mariadb

rpm -qa | grep mariadb #查看安装信息
rpm -e mariadb-libs-5.5.56-2.el7.x86_64 --nodeps #根据查找到的软件包信息卸载
rpm -qa | grep mariadb再次查看确保无误

2）安装MySQL（必须按以下顺序安装）

解压

tar -xf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar

安装

 rpm -ivh mysql-community-common-5.7.24-1.el7.x86_64.rpm
 rpm -ivh mysql-community-libs-5.7.24-1.el7.x86_64.rpm
 rpm -ivh mysql-community-client-5.7.24-1.el7.x86_64.rpm
 rpm -ivh mysql-community-server-5.7.24-1.el7.x86_64.rpm

在安装server时可能会有依赖包确实
使用yum install安装即可

yum -y install perl net-tools

上面的安装完毕mysql已经安装完了，最后安装

rpm -ivh mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm

解决t解决hue数据库连接不上

3）基本设置

service mysqld start #启动服务
cat /var/log/mysqld.log |grep password #查看初始密码
mysql -uroot -p #登录
set password = password('1234');#设置密码
报错：
ERROR 1819 (HY000): Yourpassword does not satisfy the current policy requirements
这是密码安全策略的原因，使用复杂密码则不用修改
首先，修改validate_password_policy参数的值
mysql>set global validate_password_policy=0;
mysql> set global validate_password_length=1;
mysql> set password = password('1234');
#授权用户root使用密码passwd从任意主机连接到mysql服务器，新建一个scm用户管理cdh信息

GRANT ALL PRIVILEGES ON *.* TO 'scm'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;
flush privileges;
4）建数据库（用于后边组件安装）
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

二、开始安装

1. 安装Cloudera Manager Server 和Agent

1）解压

主节点执行：tar -zxvf cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz -C /opt,解压出来的文件夹为cloudera与cm-5.15.0

2）为Cloudera Manager建立数据库

将前边下载好的mysql-connector-java-5.1.46.tar.gz解压，找到文件夹中的
复制jdbc驱动mysql-connector-java-5.1.45-bin.jar，前面已经解压过

cp /usr/java/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.15.0/share/cmf/lib/

建立数据库

/opt/cm-5.15.0/share/cmf/schema/scm_prepare_database.sh mysql -hn1 -uscm -p scm scm

密码为之前设置的 1234

3）配置Agent

vi /opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini
server_host=n1

#拷贝到其他节点
[root@n1 ~]# scp -r /opt/cm-5.15.0/ root@n2:/opt/
[root@n1 ~]# scp -r /opt/cm-5.15.0/ root@d1:/opt/
[root@n1 ~]# scp -r /opt/cm-5.15.0/ root@d2:/opt/

4）准备parcels

将CDH相关文件拷贝到主节点/opt/cloudera/parcel-repo/
#相关文件
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1
manifest.json
将CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1改成CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha，否则安装时会重新下载，很重要！！
[root@n1 ~]# mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

5）启动

mini版没有psmisc包，需要安装,其他是后边要用到的包

yum -y install psmisc
yum install -y python-lxml
yum -y install perl perl-devel

#主节点

/opt/cm-5.15.0/etc/init.d/cloudera-scm-server start

#主节点及其他节点

/opt/cm-5.15.0/etc/init.d/cloudera-scm-agent start

启动需要点时间，可以查看数据库scm中的HOSTS表，如果里面出现节点信息表示server启动完成

2. 安装hadoop集群：

1）登录主界面

登录主节点IP的7180端口，默认登录用户名和密码都是admin

２）缺失jar包
cp /opt/cm-5.15.0/share/cmf/lib/mysql-connector-java-5.1.46-bin.jar /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hive/lib/

cp /opt/cm-5.15.0/share/cmf/lib/mysql-connector-java-5.1.46-bin.jar /var/lib/oozie/

3.错误解决：

1）pstree: command not found

#/opt/cm-5.15.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.15.0/etc/init.d/cloudera-scm-server: line 109:pstree: command not found
Starting cloudera-scm-server: [FAILED]
#/opt/cm-5.15.0/etc/init.d/cloudera-scm-agent start
/opt/cm-5.15.0/etc/init.d/cloudera-scm-agent: line 108:pstree: command not found
Starting cloudera-scm-agent: [FAILED]

因为系统是最小化安装，默认没有安装

解决方法

 yum-y install psmisc
２）主机检查

第一个警告直接在所有节点上执行echo 10 > /proc/sys/vm/swappiness
第二个警告按照上面的说明，在所有节点上执行这两条命令

echo never> /sys/kernel/mm/transparent_hugepage/defrag
echo never> /sys/kernel/mm/transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/defrag >> /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/enabled>> /etc/rc.local

3.中途安装失败，重新安装
关闭所有服务
#主节点
[root@n1 ~]# /opt/cm-5.15.0/etc/init.d/cloudera-scm-server stop
#主节点及其他节点

/opt/cm-5.15.0/etc/init.d/cloudera-scm-agent stop

所有节点删除agent uuid

rm -rf /opt/cm-5.15.0/lib/cloudera-scm-agent/*

删除数据库scm

重新配置数据库

/opt/cm-5.15.0/share/cmf/schema/scm_prepare_database.sh mysql -hn1 -uscm-p scm scm

启动Cloudera server和agent，按照之前步骤安装即可

god__send
关注
专栏目录
centos7安装CDH5.X.X
08-28
centos7安装CDH5.X.X
centos7 安装 cdh5 集群超详细教程
随风随想
06-11 761
系统环境： 主节点： master 10.18.1.117 从节点： slave1, slave2, slave3 10.18.1.118, 10.18.119, 10.18.1.120 一、准备工作，系统环境搭建 预先准备工作： CDH 系统优化之关闭透明大页面及设置swappiness http://blog.csdn.net/post_yuan/article/details/54967508 1. 关闭透明大页面 首先查看透明大页是否启用，[always] never表示已启用，always [
CentOS7安装CDH（一）：CentOS7系统安装
yang_shibiao的博客
08-23 1305
目录 0. 相关文章链接 1. 桌面版安装 2.命令行版安装 3.安装必要插件 4.配置免密登录 5.卸载原有JDK 6.安装新版rpm的JDK 7.使用tar包安装JDK 8.将opt目录挂载到大硬盘上 0. 相关文章链接 CentOS7安装CDH（一）：CentOS7系统安装 CentOS7安装CDH（二）：CentOS7各个软件安装和启动 CentOS...
CentOS7搭建CDH5
weixin_42133437的博客
05-28 235
CentOS7及Cloudera Manager 此处省略两万字…………^_^ 环境要求 1.1 内存分配 觉得内存大的可以随性 ^_^ 1.2 本次安装需要的jar包 jdk-8u144-linux-x64.tar.gz CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz manifest.json
centos 7 安装CDH6.3
ciqingloveless的博客
02-04 245
下载 https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/ https://archive.cloudera.com/cdh6/6.3.2/parcels/ yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod
CDH6.3.2+centos7完全离线下安装手册
09-12
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 manifest.json CentOS-7-x86_64-DVD-1611...离线安装CDH6.3.2.docx
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx
05-19
CentOS 7 离线安装 Cloudera Manager 6 和 CDH 6.3.1 本文将指导您在 CentOS 7 环境中离线安装 Cloudera Manager 6 和 CDH 6.3.1。整个安装过程可以分为多个步骤，包括环境准备、系统配置、Java 环境配置、SSH 无...
CentOS7安装CDH5.14过程全纪录
04-18
### CentOS7安装CDH5.14全过程解析 #### 一、概述 本文将详细介绍如何在CentOS7系统上安装Cloudera Distribution Including Apache Hadoop (CDH) 5.14版本。此过程适用于搭建大数据处理平台的需求，涵盖了安装前的...
Centos7安装大数据平台CDH 6.2-HA
ITMAN009的博客
08-06 213
前提 zookeeper 集群已经启动起来了 cloudera manager配置HDFS HA的高可用 注意*最好在第一次部署集群是就进行HA配置，这样namenode datanode都是干净的不会出现namemode format失败，namenode和datanode clusterID不一致问题 注意*确保namemode节点目录路径权限， 确保hdfs上创建/tmp目录，/user目录 chown hdfs:root -R /dfs 或 chown hdfs:hadoop -R /dfs
Linux上CentOS 7 安装CDH 5.12.1进行集群搭建
07-04
即便是菜鸟也可以自己搭建Hadoop集群的教程，Linux上CentOS 7 安装CDH 5.12.1进行集群搭建。以及遇到的问题总结。和大家分享，共同进步。 本来不想设置分数，但是最低就是1分。。。。。
centos7部署cdh5.10.0
03-12
centos7部署cdh5.10.0 系统：redhat7.3 硬件：32GB+500GB 五台设备
Centos7 安装 CDH 6.2 （一）：机器准备
qq_45092794的博客
05-26 1971
文章目录1. 机器规划2. 修改hostname3. 关闭防火墙4. 安装 ELRepo、 EPEL 仓库5. 更新并安装常用依赖６. 替换YUM源为阿里源7. 修改虚拟内存交换页大小8. 设置固定IP9. 设置免密登录10. 设置hosts11. kernel优化12. 关闭 selinux13.同步时间14. 安装Python 2.7 、jdk1.8 1. 机器规划 系统为Centos7.6，...
centos7安装cdh全过程
weixin_45194258的博客
11-21 2968
centos7配置静态ip Vi /etc/sysconfig/network-scripts/ ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6...
CentOS7安装部署CDH6.2.1
最新发布
Z-NOTE
10-23 676
Cloudera Manager 是一个用于管理 CDH 集群的端到端应用程序。
Centos7部署CDH5(一)：环境准备篇
天涯芳草
04-29 488
一：版本信息: centos7:CentOS Linux release 7.2.1511 (Core) python: Python： 2.7.5（操作系统自带） cm包: cloudera-manager-centos7-cm5.10.2_x86_64.tar.gz 服务器规划 本次搭建一共用了5台机器 一台master,4台agent 主机名 IP地址 ...
CentOS7+CDH2.7.2安装
_阿坤的博客
09-05 1669
克隆3台虚拟机配置虚拟机 主机 内存 IP 软件 node1 5G 192.168.2.211 jdk、 node2 2G 192.168.2.212 jdk、 node3 2G 192.168.2.213 jdk、 准备1、修改IPvi /etc/sysconfig/network-scripts/ifcfg-eno16777736 #
CentOS7安装CDH（十四）：CDH的优化
yang_shibiao的博客
10-24 822
目录 0. 相关文章链接 1.机器选型 2.Linux参数 3. HDFS调优 4. YARN调优 5. 调优网站 0. 相关文章链接 CentOS7安装CDH（一）：CentOS7系统安装 CentOS7安装CDH（二）：CentOS7各个软件安装和启动 CentOS7安装CDH（三）：CDH中的问题和解决方法 CentOS7安装CDH（四）：CDH的版本选择和安装方式...
CDH安装指南（Centos6）
chenjadeli的博客
01-25 2771
1. 环境说明 软件准备 JDK Tar包 Mysql RPM及其依赖 Mysql JDBC Driver Tar包 Clouda RPM及其依赖 Parcels文件（CDH，KAFKA等） 本文以3台机器为例，sys01-sys03，其中sys01是主节点，其他是从节点 2. 开始前 2.1 修改主机名并添加到hosts文件 # 设置主机名 修改 /etc/sysconfig/network 的HostName hostname newmachinename # 将主机名和IP映射关系添加
CentOS7下CDH5.11.1离线安装详细步骤
"该文档是关于在CentOS7系统上安装CDH5.11.1的详细步骤，包括CDH、Cloudera Manager、Impala、Spark等组件的下载和安装，以及服务器规划、网络配置和Hosts设置。" 在安装CDH5.11.1时，首先需要准备安装文件。CDH...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值