CDH安装指南（Centos7）

最新推荐文章于 2024-08-04 22:25:40 发布
最新推荐文章于 2024-08-04 22:25:40 发布
阅读量1.3k 收藏 2
点赞数
文章标签： bash linux big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenjadeli/article/details/122682103
版权

1. 环境说明

  • 软件准备

    • JDK Tar包
    • Mysql RPM及其依赖
    • Mysql JDBC Driver Tar包
    • Clouda RPM及其依赖
    • Parcels文件（CDH，KAFKA等）

  • 本文以三台机器为例，sys01-sys03，其中sys01是主节点，其他是从节点

2. 开始前

2.1 修改主机名并添加到hosts文件

# 设置主机名
hostnamectl set-hostname sys01

# 将主机名和IP映射关系添加到hosts文件
echo "192.168.6.43 sys01
192.168.6.44 sys02
192.168.6.45 sys03" >> /etc/hosts


# 查看hosts文件
cat /etc/hosts

​

2.2 关闭Firewalld

# 禁用firewalld
systemctl stop firewalld

# 禁用firewalld
systemctl disable firewalld

#查看firewalld状态
systemctl status firewalld

2.3 关闭Selinux

# 查看selinux状态，若为enabled即为开启状态
getenforce

# 临时关闭（不用重启机器）
# 设置SELinux 成为permissive模式
setenforce 0     

# 永久关闭
# 修改/etc/selinux/config 文件
# 将SELINUX=enforcing改为SELINUX=disabled
sed -i '/SELINUX=/c SELINUX=disabled' /etc/selinux/config

2.4 配置ssh免密登陆

# 在A、B机下生成公钥/私钥对，一直回车键到完成
ssh-keygen -t rsa -P ''

# 在主节点执行命令，设置ssh免密到从节点
ssh-copy-id root@sys02
ssh-copy-id root@sys03

# 验证
ssh root@sys02
ssh root@sys03

2.5 配置YUM源

注：若已经配置好或可以在线安装则本步骤可跳过。

  • 配置repo文件，进入/etc/yum.repos.d，运行命令：vi myrepo.rep
# repo文件格式如下
[33-base]
name=33-base
baseurl=http://10.0.0.33/base/
enabled=1
priority=99
gpgcheck=0

2.6 同步时区

  • 安装ntp
    • 系统默认已安装NTP，若未安装则运行命令：yum -y install ntp
    • 开启NPT服务: systemctl start ntpd
    • 开机自起：systemctl enable ntpd
    • 硬件、系统时间同步：hwclock --systoh
  • 离线情况下集群时间同步
    • 主节点添加如下配置
# local clock外部时间服务器不可用时，以本地时间作为时间服务           
server 127.127.1.0
fudge 127.127.1.0 stratum 10
  • 在主节点之外的机器上配置/etc/ntp.conf文件，在此文件中添加如下配置：
server 主节点IP prefer
注：ip 可以用主机名代替

2.7 安装Oracle JDK

  • 下载jdk tar包
mkdir /usr/java
tar -zxvf  jdk-8u231-linux-x64.tar.gz -C /usr/java
# 将下面内容添加到/etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_231
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
export JRE_HOME
export CLASSPATH
export PATH

# 使配置生效
source /etc/profile
# 检测是否安装成功
java -version

2.8 安装和配置数据库Mysql(主节点)

  • ​

  • 安装mysql先下载mysql的repo源

$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
​

安装源包，即安装mysql-community-release-el7-5.noarch.rpm包
$ sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum -y install mysql-server

注：若安装不成功，请检查2.5配置是否正确。

  • 停止mysqld服务
# 停止服务
systemctl stop mysqld
# 查看状态
systemctl status mysql
  • 修改my.cnf文件

运行命令：vi /etc/my.cnf
将内容替换为：

[mysqld]
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links = 0
key_buffer = 16M
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log

# For MySQL version 5.1.8 or later. Comment out binlog_format for older versions.
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES

注：可依据硬件条件进行调整

  • 设置开机自动启
 # 设置开机自启
systemctl enable mysqld
  • 启动mysql服务
# 运行命令：
systemctl start mysqld
# 查看状态：
systemctl status mysqld
  • 设置mysql密码

$ sudo /usr/bin/mysql_secure_installation
[…]
Enter current password for root (enter for none):回车 OK, successfully used password, moving on…
[…]
Set root password? [Y/n] y
New password:新密码 Re-enter new password:重复新密码 Remove anonymous users? [Y/n] Y
[…]
Disallow root login remotely? [Y/n] N
[…]
Remove test database and access to it [Y/n] Y
[…]
Reload privilege tables now? [Y/n] Y
All done

  • 配置数据库

以root用户进入数据库 $ mysql -u root -p
Enter password:
创建数据库和用户并设置相应密​
mysql> create database 数据库名 DEFAULT CHARACTER SET utf8;
Query OK, 1 row affected (0.00 sec)
mysql> grant all on 数据库名.* TO ‘用户名’@’%’ IDENTIFIED BY ‘密码’;
Query OK, 0 rows affected (0.00 sec)
创建完exit
全部复制以下内容并执行：

create database amon DEFAULT CHARACTER SET utf8; grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'sys@123';
create database metastore DEFAULT CHARACTER SET utf8; grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'sys@123';
create database rman DEFAULT CHARACTER SET utf8; grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'sys@123';
create database nav DEFAULT CHARACTER SET utf8; grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'sys@123';
create database navms DEFAULT CHARACTER SET utf8; grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'sys@123';
create database oozie DEFAULT CHARACTER SET utf8; grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'sys@123';
create database hue DEFAULT CHARACTER SET utf8; grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'sys@123';

flush privileges;

映射关系如下：

RoleDatabaseUserPassword
Activity Monitoramonamonamon_password
Reports Managerrmanrmanrman_password
Hive Metastore Servermetastorehivehive_password
Sentry Serversentrysentrysentry_password
Cloudera Navigator Audit Servernavnavnav_password
Cloudera Navigator Metadata Servernavmsnavmsnavms_password

2.9 安装CM

# 主节点
yum install -y cloudera-manager-daemons cloudera-manager-server

# 全部节点，包括主节点
yum install -y cloudera-manager-daemons cloudera-manager-agent

2.10 安装Mysql JDBC Driver

cp mysql-connector-java-5.1.38/mysql-connector-java-5.1.38-bin.jar /usr/share/java/mysql-connector-java.jar

2.11（主节点）配置Cloudera Manager Server数据库

进入/usr/share/cmf/schema目录
运行.sh文件并设置相应数据库

# 命令格式为：./scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password]
./scm_prepare_database.sh -uroot -p123456 mysql cloudera cic 123456

2.12 创建并使用 Parcel 存储库

​

使用HTTP，Nginx等软件搭建一个Web服务，使得所有节点能够访问并下载parcel包。例如将CDH和KAFKA分文件夹放置在/var/www/html目录下，使用http://localhost/cdh能正常访问。
​

3. 开始安装

3.1 开启Cloudera Manager service服务

# 开启server服务(主节点)
systemctl start cloudera-scm-server
# 查看状态
systemctl status cloudera-scm-server

# 开启agent服务
systemctl start cloudera-scm-agent(各个节点)
# 查看状态
systemctl status cloudera-scm-agent

3.2 界面安装

image.png
​

  • ** 按下图所示操作，按照默认设置，点击"continue"**

image.png

image.png
​

  • ** 写入主机ip地址，点击"search"**

image.png​
image.png
​

  • ** **点击下图 More Options选项，配置远程Parcel存储库URL,具体如何创建参见2.12。如下图所示：

cdh-parcels: http://10.0.0.33/cdh-parcels/
kafka-parcel: http://10.0.0.33/kafka-parcels/
image.png

  • ** 已安装jdk，不选**

image.png

  • ** 输入Root密码**

image.png
image.png

3.3 安装服务

  • 默认安装HDFS/YARN/ZOOKEEPER/HBASE/KAFKA/FLUME六项服务。

​

  • ** 群集设置**配置规
  1. 所有组件选择主机的时候，如果没有给出默认值，即显示 “选择主机” ，则不处理
  2. 显示“与 DataNode 相同 ” 的，也不处理，直接修改DataNode节点，其他的就都好了
  3. Hbase: “Master” 选项，一般需要两个，相互热备，RegionServer 选择所有主机
  4. HDFS : NameNode 和 SecondNameNode各一个节点就好，但是不要放在一起，也是有热备的作用
  5. 节点分配的时候注意分散，不要集中到一台主机上，避免负载过大宕机

3.4 服务说明

AP,ES,HM,RM,SM cloudera services
RS hbase reginserver
M hbase master
DN hdfs datanode
NN hdfs namenode
SNN hdfs secondary namenode
B hdfs ballaner
G spark gateway
HS spark history server
S zookeeper server
KB kafka broker
RM yarn resourcemanager
NM yarn nodemanager
JHS yarn jobhistory serve

3.5 其他配置

  • 检查主机正确性时出现 “已启用“透明大页面”，它可能会导致重大的性能问题。
# 临时修改：
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 永久修改：
# vi /etc/rc.local  加入以下两行
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

4. 可能遇到的问题

错误1​
主机目录Permission denied

解决办法：
修改对应目录权限：chmode xxx:xxx 目录地址

错误:2：
hdfs目录Permission denied: user=mapred, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

解决办法：
sudo -u hdfs hdfs dfs -chmod 777 /
sudo -u hdfs hdfs dfs -chmod 777 /hbase

错误3：
Log directory specified does not exist: hdfs://cic01:8020/user/spark/applicationHistory

解决办法：
sudo -u hdfs hdfs dfs -chown spark:spark /user/spark

错误4：
需要格式化namenode

解决办法：
hdfs—实例—namenode——操作—格式化

错误5：
某些服务没起来

解决办法：
尝试重启对应服务

ironartisan
关注
centos7安装CDH5.X.X
08-28
centos7安装CDH5.X.X
CDH安装指南（Centos6）
chenjadeli的博客
01-25 2775
1. 环境说明 软件准备 JDK Tar包 Mysql RPM及其依赖 Mysql JDBC Driver Tar包 Clouda RPM及其依赖 Parcels文件（CDH，KAFKA等） 本文以3台机器为例，sys01-sys03，其中sys01是主节点，其他是从节点 2. 开始前 2.1 修改主机名并添加到hosts文件 # 设置主机名 修改 /etc/sysconfig/network 的HostName hostname newmachinename # 将主机名和IP映射关系添加
CentOS 7 部署 CDH 6.3.2
最新发布
a120608yby的博客
08-04 965
CentOS 7 部署 CDH 6.3.2
centos7安装cdh全过程
weixin_45194258的博客
11-21 2984
centos7配置静态ip Vi /etc/sysconfig/network-scripts/ ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6...
CentOS7安装CDH（一）：CentOS7系统安装
yang_shibiao的博客
08-23 1308
目录 0. 相关文章链接 1. 桌面版安装 2.命令行版安装 3.安装必要插件 4.配置免密登录 5.卸载原有JDK 6.安装新版rpm的JDK 7.使用tar包安装JDK 8.将opt目录挂载到大硬盘上 0. 相关文章链接 CentOS7安装CDH（一）：CentOS7系统安装 CentOS7安装CDH（二）：CentOS7各个软件安装和启动 CentOS...
centos 7 安装CDH6.3
ciqingloveless的博客
02-04 248
下载 https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/ https://archive.cloudera.com/cdh6/6.3.2/parcels/ yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod
CDH安装学习指南，问题解决
03-11
- **操作系统**：推荐使用CentOS 7版本，确保与CDH版本兼容。 #### 2. 软件下载与安装 - **Linux操作系统**：官方下载地址：[CentOS](https://www.centos.org/download/)。 - **Cloudera Manager**：下载地址为...
CentOS7安装CDH5.14过程全纪录
04-18
### CentOS7安装CDH5.14全过程解析 #### 一、概述 本文将详细介绍如何在CentOS7系统上安装Cloudera Distribution Including Apache Hadoop (CDH) 5.14版本。此过程适用于搭建大数据处理平台的需求，涵盖了安装前的...
【Centos7.6安装CDH6.1.0】第四节 安装并启动CM组件
01-07
【Centos7.6安装CDH6.1.0】手把手教你搭建CDH6.1.0主节点安装本地yum仓库中的CM组件从节点安装本地yum仓库中的CM组件初始化scm数据库启动CM服务跳转 主节点安装本地yum仓库中的CM组件 root用户下，在mini1上执行： #...
Linux上CentOS 7 安装CDH 5.12.1进行集群搭建
07-04
在Linux上的CentOS 7操作系统中安装CDH 5.12.1是构建Hadoop集群的关键步骤。CDH（Cloudera Distributed Hadoop）是由Cloudera公司提供的一个全面的大数据管理平台，包含了多种开源大数据处理项目，如Hadoop、HBase、...
Centos7安装大数据平台CDH 6.2-HA
ITMAN009的博客
08-06 218
前提 zookeeper 集群已经启动起来了 cloudera manager配置HDFS HA的高可用 注意*最好在第一次部署集群是就进行HA配置，这样namenode datanode都是干净的不会出现namemode format失败，namenode和datanode clusterID不一致问题 注意*确保namemode节点目录路径权限， 确保hdfs上创建/tmp目录，/user目录 chown hdfs:root -R /dfs 或 chown hdfs:hadoop -R /dfs
cdh7.1.7和cm7.4.4软件包下载及cdh7安装步骤
05-06
cdh7.1.7包括： CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha1 CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha256 manifest.json cm7.4.7包括： cloudera-manager-agent-7.4.4-15850731.el7.x86_64.rpm cloudera-manager-daemons-7.4.4-15850731.el7.x86_64.rpm cloudera-manager-server-7.4.4-15850731.el7.x86_64.rpm cloudera-manager-server-db-2-7.4.4-15850731.el7.x86_64.rpm openjdk8-8.0+232_9-cloudera.x86_64.rpm cloudera-manager.repo RPM-GPG-KEY-cloudera allkeys.asc
centos7部署cdh5.10.0
03-12
centos7部署cdh5.10.0 系统：redhat7.3 硬件：32GB+500GB 五台设备
CDH5.7安装
03-29
CDH5的安装，实验的CDH版本号CDH5.7.1，已经在生产环境多次安装
CDH7.1.5离线安装包下载
03-22
CDH7及以上版本已经更名为CDP 本资源打包了CDH7.1.5 搭建所需要的各种安装文件，包括： cm7.2.4-redhat7.tar.gz manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7.parcel CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7.parcel.sha1 CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7.parcel.sha256 安装教程可参考我的博客： https://blog.csdn.net/qq_32068809/article/details/113564729?spm=1001.2014.3001.5502 注意，CDP7不提供免费版（可以试用），如果没有购买CDP授权请谨慎下载本资源，CDH免费版本最高支持到6.3.2，大家可以前往这个链接下载：https://download.csdn.net/download/qq_32068809/15865504 任何问题可添加微信咨询：15854186970
Centos7 安装 CDH 6.2 （一）：机器准备
qq_45092794的博客
05-26 1976
文章目录1. 机器规划2. 修改hostname3. 关闭防火墙4. 安装 ELRepo、 EPEL 仓库5. 更新并安装常用依赖６. 替换YUM源为阿里源7. 修改虚拟内存交换页大小8. 设置固定IP9. 设置免密登录10. 设置hosts11. kernel优化12. 关闭 selinux13.同步时间14. 安装Python 2.7 、jdk1.8 1. 机器规划 系统为Centos7.6，...
cdh平台安装详细教程
热爱生活，忠于自己
10-23 1942
CDH Cloudera版本平台安装基本流程
CentOS7安装Cdh5
与君初相逢
10-24 474
CentOS7 Mini版安装Cdh5步骤一、准备环境1.机器配置2.必要的软件 一、准备环境 1.机器配置 至少三台物理机或者虚拟机 安装CentOS7 mini版，要求可以互相通信 我的是4台虚拟机，配置均为2G+20G 192.168.65.101 n1 192.168.65.102 n2 192.168.65.103 d1 192.168.65.104 d2 2.必要的软件 ...
CentOS7安装部署CDH6.2.1
Z-NOTE
10-23 695
Cloudera Manager 是一个用于管理 CDH 集群的端到端应用程序。
CDH6安装指南：CentOS7环境下的步骤
- **操作系统**：确保你使用的系统是CentOS7或RHEL7以上版本，因为这是CDH6支持的操作系统。 - **主机名和IP映射**：在所有服务器上设置正确的主机名，并在`/etc/hosts`文件中配置域名与IP地址的映射，以便集群内...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值