CDH5.15搭建四之二（微播易公司搭建手册-基础部分）

最新推荐文章于 2024-06-12 18:02:46 发布
最新推荐文章于 2024-06-12 18:02:46 发布
阅读量3.7k 收藏 7
点赞数 3
分类专栏： CDH 文章标签： 5.15
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1226317595/article/details/81281149
版权

1. 安装总概

1.1. 软件环境

本文将介绍Centos7.5（首先用cat /proc/version和getconf LONG_BIT） 离线安装CDH和Cloudera Manager过程，软件版本如下表1-1所示：
表1-1 软件版本选取

NO.软件名称版本
1操作系统Centos7.5 64 位
2JDKjdk-8u171-linux-x64
3Clouder Manager5.15.0
4CDH5.15.0
5数据库 Mysql5.7

1.2. 配置规划

本次安装共7台服务器，服务器配置及用途如下表1-2所示：
表1-2 服务器基本规划配置

NO.机器名称内网IP核/内存/硬盘用途
1prd-pg-cdh-mysql_slave-195192.168.1.1952C/4G/500GBMysql备份
2prd-pg-cdh-mysql_master-194192.168.1.1948C/32G/500GBCM，Mysql主
3prd-pg-cdh-scm-115192.168.1.1158C/32G/4TBAG,Cluster-M
4prd-pg-cdh-node-190192.168.1.19040C/64G/32TBAG,Cluster-N
5prd-pg-cdh-node-191192.168.1.19140C/64G/32TBAG,Cluster-N
6prd-pg-cdh-node-192192.168.1.19240C/64G/32TBAG,Cluster-N
7prd-pg-cdh-node-193192.168.1.19340C/64G/32TBAG,Cluster-N

1.3. CheckList

本部分是讲述，安装过程的checklist，也就是安装步骤总览，如表1-3所示：

类别项目当前进度
资源校核操作系统Centos7.5 64 位
资源资源下载Jdk+cm+cdh
LinuxHostname-Hosts互ping
LinuxNet-tools能够使用ifconfig和netstat
Linux防火墙，selinux关闭成功
LinuxNTP对时全主时间硬件更新
LinuxSSH免密SSH两两（包含127）
LinuxSwappiness小于10修改成功
Linux文件句柄改大修改成功
Linux透明大页面关闭修改成功
Soft依赖包安装成功
SoftJdk安装成功
SoftMySQLroot#root, navicat连接成功
CM-资源JDBC,CM,CDH移到/data/cdh
CM-资源解压，传包包含Mysql-jar
CM-安装Linux用户创建完成
CM-安装CDH-数据库初始化Navicat查看
CM-安装Parcel目录主从完成
CM-安装配置修改config.ini
CDH-基本基本组件（包含kudu）安装完成
散件Pig，hive独立运行成功
各组件调配各组件满足需求

2. 基础环境

2.1. 所需要的软件资源

2.1.1. JDK环境：

JDK版本：jdk-8u171-linux-x64
jdk-8u171-linux-x64.rpm
下载地址：
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
scala环境：
scala-2.11.8.rpm
下载地址：
https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.rpm

2.1.2. CM包：

CM版本：5.15.0
cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz
下载地址：
http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz

2.1.3. CDH包

CDH版本：5.15.0，
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1
manifest.json
下载地址：
http://archive-primary.cloudera.com/cdh5/parcels/5.15.0/ /manifest.json
http://archive-primary.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
http://archive-primary.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

2.1.4. JDBC连接jar包：

jar包版本：5.1.43，
mysql-connector-java-5.1.43.jar
下载地址：
http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar
下载Mysql JDBC包：
wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar
2.2. 修改机器名（所有节点）
2.2.1. 修改机器名称

hostnamectl set-hostname prd-pg-cdh-mysql-master-194 //设置机器名
hostname // 查看本机名

这种方式，在Centos7中可以永久性改变主机名称。
2.2.2. 每个节点机器，都要配置hosts
vim /etc/hosts
内容都改为：

127.0.0.1 localhost //建议保留此行
192.168.1.194 prd-pg-cdh-mysql-master-194
192.168.1.195 prd-pg-cdh-mysql-slave-195
192.168.1.115 prd-pg-cdh-scm-115
192.168.1.190 prd-pg-cdh-node-190
192.168.1.191 prd-pg-cdh-node-191
192.168.1.192 prd-pg-cdh-node-192
192.168.1.193 prd-pg-cdh-node-193

2.3. 设置防火墙（所有节点）

注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。
防火墙常用命令：

firewall-cmd –state（查询防火墙状态）
systemctl stop firewalld.service （关闭防火墙）
systemctl start firewalld.service （开启防火墙）
systemctl disable firewalld.service （禁止firewall开机启动）
//设置防火墙策略，在所有节点执行下面脚本（执行前要启动防火墙）：
//集群机器间可以相互访问
firewall-cmd –permanent –add-rich-rule=”rule family=’ipv4’ source address=’172.16.3.168’ port protocol=’tcp’ port=’0-65535’ accept”
firewall-cmd –permanent –add-rich-rule=”rule family=’ipv4’ source address=’172.16.3.169’ port protocol=’tcp’ port=’0-65535’ accept”
firewall-cmd –permanent –add-rich-rule=”rule family=’ipv4’ source address=’172.16.3.170’ port protocol=’tcp’ port=’0-65535’ accept”
firewall-cmd –permanent –add-rich-rule=”rule family=’ipv4’ source address=’172.16.3.171’ port protocol=’tcp’ port=’0-65535’ accept”
firewall-cmd –permanent –add-rich-rule=”rule family=’ipv4’ source address=’172.16.3.172’ port protocol=’tcp’ port=’0-65535’ accept”
//设置可以访问的端口
firewall-cmd –permanent –add-port=0-65535/tcp
firewall-cmd –reload

注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为了安装起来方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

2.4. 配置免密码登录SSH（两两）

将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）
在主节点上执行：

cd~ //进入到 根目录
ssh-keygen -t rsa
cat id_rsa.pub >> ~/.ssh/authorized_keys

一路回车，生成无密码的密钥对。

把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建，下图是115，190-193的密钥）：
这里写图片描述
并设置authorized_keys的访问权限：

chmod 600 ~/.ssh/authorized_keys

测试：在190点上执行ssh 192，正常情况下，不需要密码就能直接登陆进去了。
在190节点出现下面表示成功登录192节点：
互相登陆以下（包括localhost和127.0.0.1），让.ssh/known_hosts有如下内容，这样ssh的时候没有yes提示。
这里写图片描述

2.5. 关闭SELINUX（所有节点）

关闭linux SELINUX安全内核

setenforce 0 （临时生效）
修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）
vi /etc/selinux/config
内容增加：
SELINUX=disabled
重启后生效：
reboot
查看SELINUX 是否关闭：
sestatus
（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）

2.6. 修改Linux内核参数（所有节点）

为避免安装过程中出现的异常问题，首先调整Linux内核参数。

2.6.1. 设置swappiness，控制换出运行时内存的相对权重，Cloudera 建议将 swappiness 设置为 10：

查看swappiness
cat /proc/sys/vm/swappiness
//永久性修改，执行下面两条命令
sysctl -w vm.swappiness=10
echo vm.swappiness = 10 >> /etc/sysctl.conf

2.6.2. 关闭透明大页面：

自CentOS6版本开始引入了Transparent Huge Pages(THP)，从CentOS7版本开始，该特性默认就会启用。尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。
首先查看透明大页是否启用，[always] never表示已启用，always [never]表示已禁用：

cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never
cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

以上状态就说明是启用的。

临时关闭（重启机器会变回默认开启状态）：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久关闭：
//编辑/etc/rc.d/rc.local
vim /etc/rc.d/rc.local
//在文件后添加下面内容:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
保存退出，然后赋予rc.local文件执行权限：
chmod +x /etc/rc.d/rc.local
重启系统，以后再检查THP状态，显示状态被禁用了。

2.6.3. 修改文件句柄数：

注意：修改limits.conf这类限制资源使用的文件，一定要备份配置文件，并进行测试，最好能多开一个终端，在当前终端不可使用的时候，用来执行补救措施。否则可能所有远程连不上，就要去机房了。

//查看文件句柄数，显示1024，显然太小
ulimit -n
1024
//修改系统文件句柄数限制
vim /etc/security/limits.conf
//在文件后加入下面内容：
* soft nofile 100000
* hard nofile 100000
修改后需要重启机器。

2.7. 配置NTP服务

注意：（如果使用kudu，确保服务开启，而不是一主三从）
集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体建设过程如下：

2.7.1. 所有节点安装相关组件：

yum install ntp ntpdate -y
编辑 /etc/ntp.conf：
vi /etc/ntp.conf
//在文件中输入上面网页内容：1.5是内部ntp服务器
server 192.168.1.5
然后在命令行执行
ntpdate 192.168.1.5 && /sbin/hwclock -w

2.7.2. 启动ntp服务(主节点)：

systemctl start ntpd

2.7.3. 配置开机启动：

systemctl enable ntpd.service
注意：如果ntpd 开机启动失效，有可能是因为安装了chronyd 并且是开机自启状态，所以导致ntpd开机自启失败。
查看 chronyd设置状态
systemctl status chronyd
显示如下：
以面表明，chronyd显示为开机启动状态。
将chronyd设为禁用状态：
systemctl disable chronyd.service
此时，NTP的服务开机自启动完成！
检查是否设置成功：
关于设置参考：https://www.jianshu.com/p/fb32239ccf2b
ntpq -p
//更新时间
timedatectl set-timezone Asia/Shanghai
timedatectl set-ntp yes
hwclock –systohc
timedatectl && /sbin/hwclock -w
这里写图片描述

2.8. 安装依赖包（所有）

yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb mod_ssl unzip
注意这里加了一个mod_ssl用来解决hue问题,unzip是livy解压用的。
yum -y install lrzsz #为了上传下载方便，安装这个软件

2.9. 安装oracle JDK1.8 （所有节点）

下载rpm 安装包jdk-8u171-linux-x64.rpm 
CentOS系统一般自带OpenJdk，需要卸载掉自带的OpenJdk，使用
 rpm -qa | grep java
查询java相关的包，使用
 rpm -e –nodeps +包名
强制卸载掉，下面安装oralce JDK
rpm -ivh jdk-8u171-linux-x64.rpm #jdk
rpm -ivh scala-2.11.8.rpm  #scala
scp 192.168.1.193:/opt/scala-2.11.8.rpm ./ && rpm -ivh scala-2.11.8.rpm && rm -f  scala-2.11.8.rpm
配置JAVA_HOME环境变量：
修改/etc/profile文件配置环境变量，  执行命令：
vi /etc/profile   
在profile文件最后，输入下面内容，保存并退出。
export JAVA_HOME=/usr/java/ jdk1.8.0_171-amd64
export PATH=$PATH:$JAVA_HOME/bin 
或者使用：
echo "export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64">>/etc/profile
echo "export PATH=\$PATH:\$JAVA_HOME/bin">>/etc/profile
执行下面命令，让配置生效
source /etc/profile   //使修改立即生效
echo $PATH   //查看PATH值
echo $JAVA_HOME   //查看JAVA_HOME值
在Centos7中修改/etc/profile文件配置环境变量，机器启动后有时不生效，可以修改/etc/ bashrc文件配置环境变量：
echo "export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64">>/etc/bashrc
echo "export PATH=\$PATH:\$JAVA_HOME/bin">>/etc/bashrc
source /etc/bashrc

vi /etc/bashrc 
//在文件最后加入：
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin 
//使修改立即生效
source /etc/bashrc 
//查看JAVA_HOME值
echo $JAVA_HOME

2.10. Mysql安装（主备节点）

2.10.1. 所有节点

到官网https://dev.mysql.com/downloads/file/?id=469456选择对应安装包：

1) 下载安装包
wget https://cdn.mysql.com//archives/mysql-5.7/mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
2) 解压安装包
tar -xvf mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar

解压后文件列表：

mysql-community-embedded-devel-5.7.18-1.el7.x86_64.rpm
mysql-community-devel-5.7.18-1.el7.x86_64.rpm
mysql-community-client-5.7.18-1.el7.x86_64.rpm
mysql-community-common-5.7.18-1.el7.x86_64.rpm
mysql-community-embedded-5.7.18-1.el7.x86_64.rpm
mysql-community-embedded-compat-5.7.18-1.el7.x86_64.rpm
mysql-community-libs-5.7.18-1.el7.x86_64.rpm
mysql-community-server-minimal-5.7.18-1.el7.x86_64.rpm
mysql-community-test-5.7.18-1.el7.x86_64.rpm
mysql-community-minimal-debuginfo-5.7.18-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm

3) 按次序安装

按common–>libs–>client–>server的顺序安装：
rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.18-1.el7.x86_64.rpm
//安装下面包，否则Hue安装报连接错误
rpm -ivh mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm

4) 启动数据库

systemctl start mysqld

查看状态：

systemctl status mysqld

5) 修改MySQL初始密码
1、先修改配置文件/etc/my.cnf令MySQL跳过登录时的权限检验，在[mysqld]下加入一行：

skip-grant-tables

2、重启MySQL

systemctl restart mysqld

3、免密码登录MySQL。

mysql

4、mysql客户端执行如下命令，修改root密码

mysql> use mysql;
mysql> UPDATE user SET authentication_string = password(‘root’) WHERE host = ‘localhost’ AND user = ‘root’;
mysql> select host,user, authentication_string, password_expired from user;
mysql> update user set password_expired=’N’ where password_expired=’Y’ //密码不过期
mysql> update user set host=’%’ where user=’root’ and host=’localhost’; //远程可访问
mysql> flush privileges; //刷新
mysql> exit;//退出

5、修改配置文件/etc/my.cnf删除此前新增那一行skip-grant-tables，并重启MySQL(这一步非常重要，不执行可能导致严重的安全问题)

systemctl restart mysqld

2.10.2. 主备节点

主备复制是mysql在3.23版本以后才提供的功能，原理如下：
1 首先，Mysql主库在事务提交时会把数据变更作为事件Events记录在二进制日志文件Binlog中；MYSQL主库上的sync_binlog参数控制Binlog日志刷新到磁盘。
2 主库推送二进制日志文件binlog中的事件到从库的中继日志relay log，之后从库根据中继日志重做数据变更操作，通过逻辑复制以此来达到主从数据一致。
这里涉及3个线程：主库上的Binlog Dump；从库上的I/O和SQL。
主备脚本如下：
准备两个机器：一台为主master、一台为备salve
第一步：主服务器(matser)配置如下：

vim /etc/my.cnf
server –id（主从机器的server-id要不一样）
log-bin=mysql-bin ###打开注释
/etc/init.d/mysqld restart
mysql -uroot -proot -e “show variables like ‘log_bin’;” ####判断是否打开
mysql -uroot -proot
mysql>grant replication slave on . to ‘rep’@’192.168.1.195’ identified by ‘waQ,qR%be2(5’;
mysql>flush privileges;
mysql>flush table with read lock;
mysql>show master status;
+——————+———–+————–+——————+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+——————+———–+————–+——————+
| mysql-bin.000109 | 592 | | |
+——————+———–+————–+——————+
mysqldump -uroot -proot -A -B –events –master-data=2 |gzip >/data0/backup.sql.gz
unlock tables;
scp -P22678 /data0/backup.sql.gz root@10.51.52.173:/data0/

————

从服务器(matser)配置如下：

gunzip < /data0/backup.sql.gz | mysql -uroot -proot
mysql -uroot -ph47Ny0GR3A
change master to
master_host=’192.168.1.194’,
master_port=3306,
master_user=’rep’,
master_password=’waQ,qR%be2(5’,
master_log_file=’mysql-bin.000002’,
master_log_pos=592;
start slave;
show slave status\G;

3. 安装CM

3.1. 传包，解包（所有）

在主节点上下载相关软件包，这里将软件包下载到/data/ cdh/目录下。

cd /data/cdh

下载Mysql JDBC包：

wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar

CM，CDH移到/data/cdh
拷贝两个jar到所有Server、Agent节点

scp /data/cdh/mysql-connector-java-5.1.43.jar root@192.168.20.82:/data/cdh
scp /data/cdh/cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz root@192.168.20.82:/data/cdh

在所有节点将CM解压到/opt/目录：

tar -zxvf /data/cdh/cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz -C /opt2/
ls /opt/
cloudera cm-5.15.0

3.2. 创建用户（所有）

在所有节点上执行：

useradd –system –home=/opt/cm-5.15.0/run/cloudera-scm-server –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm

3.3. 拷贝mysql-jar包（主从）

在所有节点上：
//如果没有/usr/share/java/目录，则创建
cp /data/cdh/mysql-connector-java-5.1.43.jar /usr/share/java/mysql-connector-java.jar
在主节点上：
//将mysql JDBC jar 包拷贝到 /opt/cm-5.15.0/share/cmf/lib/ 目录
cp /data/cdh/mysql-connector-java-5.1.43.jar /opt/cm-5.15.0/share/cmf/lib/

3.4. 创建数据库（主节点）

在主节点上：

mysql -h127.0.0.1 -uroot -p //加参数-h127.0.0.1 指定本机方式，否则可能不允许执行grant
Enter password: \输入数据库密码
//在MariaDB [(none)]>命令状态输入下面脚本：
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on . to root@localhost identified by ‘root’ with grant option;
grant all on . to root@”%” Identified by “root”;
flush privileges;
exit;
//初始化CM，执行下面脚本
/opt/cm-5.15.0/share/cmf/schema/scm_prepare_database.sh mysql -h prd-pg-cdh-mysql-master-194 -uroot -proot –scm-host prd-pg-cdh-mysql-master-194 scm scm scm
（对应于：数据库类型、数据库服务器、用户名、密码、CMServer所在节点…….）
注意：上面的指令是数据库服务器在194，cm在115的指令
//如果出现下面错误：
java.sql.SQLException: Access denied for user ‘root’@’localhost’ (using password: YES)
//解决办法：
在/etc/hosts 文件中，加上
127.0.0.1 localhost.prd-pg-cdh-scm-115
脚本/scm_prepare_database.sh 执行成功界面：
如下是正确结果
这里写图片描述

3.5. 制作本地Parcel目录（主从）

Manager节点

创建目录/opt/cloudera/parcel-repo，执行：
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
//进入软件包目录
cd /data/cdh
//拷贝三个文件到/opt/cloudera/parcel-repo/目录
cp CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/
//进入/opt/cloudera/parcel-repo/目录
cd /opt/cloudera/parcel-repo/
//修改文件名
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

Agent节点

Agent节点创建目录/opt/cloudera/parcels，执行：
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

3.6. 修改cloudera-scm-agent配置（所有）

修改/opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini文件：
//将config.ini server_host=localhost 内容改为server_host=192.168.1.194
sed -i “s/server_host=localhost/server_host=192.168.1.194/” /opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini

3.7. 启动CM Server和Agent（主从）

在主节点上，启动cloudera-scm-server：

/opt/cm-5.15.0/etc/init.d/cloudera-scm-server start

启动过程较慢，可通过/opt/cm-5.15.0/log/cloudera-scm-server日志，查看启动过程。
在所有节点上，启动cloudera-scm-agent：

/opt/cm-5.15.0/etc/init.d/cloudera-scm-agent start

3.8. 访问CM

地址：http://主节点IP:7180
用户名、密码：admin

这里写图片描述

好了，文章分节上传如下：亲测可用，如果有问题，联系18192015917（叫我：涵哥，白哥，帅哥。。都行）

之一：概要

之二：基础

之三：组件

之四：踩坑

袁一白
关注
专栏目录
基本环境的搭建
weixin_44809337的博客
06-26 1379
基本环境的搭建一、基本换环境1.1 服务器相关 一、基本换环境 1.1 服务器相关
CDH搭建
FenKangDeAoTeMan的博客
09-23 662
CDH搭建 一、Apacha Hadoop的缺点 版本管理混乱。 部署过程繁琐、升级过程复杂。 兼容性差。 安全性低。 二、Hadoop发型版本 Apache Hadoop（原生版hadoop） Cloudera’s Distribution Including Apache Hadoop（CDH版本） Hortonworks Data Platform（HDP） MapR EMR … 三...
搭建CDH
nntcdhl的博客
05-21 460
版本centos7,再克隆一台。 一.基础配置 1.配置网络：采用Nat方式联网。 2. vim /etc/sysconfig/network-scripts/ifcfg-ens33 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.80.3 NETMASK=255.255.255.0 GATEWAY=192.168.80.2 DNS1=202.196.32....
cdh5.15离线搭建文档
02-14
CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一个全面的大数据处理平台，包含了多种开源项目，如Hadoop、Hive、HBase等。CDH5.15是CDH系列的一个重要版本，提供了稳定且高效的数据...
CDH5.15启用kerberos+Sentry手册_v1.0.docx
04-10
《CDH5.15启用kerberos+Sentry手册》详细解读 在大数据处理环境中，确保数据的安全性至关重要。CDH（Cloudera Distribution Including Apache Hadoop）作为一款流行的大数据平台，提供了强大的安全机制，包括...
CDH5.15-Linux7 集群安装
04-30
抽空整理了大数据cdh5.1.5集群的安装方式，本地三台节点，亲测无误，每步都有教程，欢迎大家提问，共同进步
CDH集群搭建手册
03-15
CDH集群搭建手册 CDH（Cloudera Distribution of Hadoop）是一种基于 Apache Hadoop 的大数据解决方案，提供了一个功能强大的大数据分析平台。以下是 CDH 三节点基于 CentOS 6.8 的安装和卸载教程。 一、CDH 安装...
cdh6.1.0搭建手册.pdf
04-01
CDH是Cloudera公司推出的基于稳定版本的Apache Hadoop构建，是Hadoop众多分支中的一种。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放...
cloudera manager 安装cdh 搭建大数据集群，详细讲解核心
08-03
该文档详细讲解了cloudera manager安装cdh步骤，作者看了官方文档不下千次，呕心沥血整理，非常详细，以及各种安装方法的核心优缺点
大数据平台CDH搭建
我睡觉的时候不困
07-07 5529
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具。 2、环境准备 2.1、虚拟机准备 克隆三台虚拟机（hadoop102、hadoop103、hadoop104），配置好对应主机的网络IP、主机名称、关闭防火墙。 2.2、SSH免密登录 配置hadoop102对hadoop102、hadoop103、hadoop104三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的，所以这里不需要配置SSH免密登录，但是为了我们分发文件方便，在
CDH环境搭建（一）
u010476994的博客
02-05 1835
一、架构                       一共三台虚拟机：cdh1~cdh3。       其中Server部署在cdh1上，MySQL同样部署在cdh1上（因此cdh1的内存要大一些，其它两台主机的内存可稍小一点，笔者的内存配置是：6G、1G、1G）。IP分配如下：        cdh1:192.168.111.201        cdh2:192.168.111.20
CDH集群搭建
m0_61607827的博客
03-07 2186
一、说明 节点(CentOS7.5) Server || Agent CPU node11 Server || Agent 4G node12 Agent 2G node13 Agent 2G 二、系统环境搭建 1、网络配置(所有节点) 1．设置主机名和IP 2．配置/etc/hosts IP和主机名的映射 2、SSH免密码登录 1．产生公钥和私钥：ssh-keygen -t rsa（一直回车直即可） 2．将公钥分发...
CDH 6 安装
あずにゃん梓喵的博客
02-13 3299
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 在CDH安装之前必须保证NODE1主节点中的以下程序均已启动 1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、systemctl restart ntpd 查看是否启动 ps...
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 1658
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
CDH大数据平台入门篇之搭建与部署
予挚之的博客
03-06 5090
CDH：存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件、高安全性且能够部署多种应用，并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。
大数据CDH怎么搭建，详细一点
weixin_42577243的博客
02-08 238
很高兴能回答你的问题。搭建CDH(Cloudera Data Hub)需要准备以下条件：1、至少一台服务器，操作系统为CentOS 7.2或更高版本；2、至少两个网络接口；3、至少8GB内存；4、至少20GB的可用磁盘空间。然后，按照官方文档的步骤进行安装，安装完成后，即可完成CDH的搭建。 ...
cdh安装
xiaoshishui1的博客
04-21 277
关于 CDH 和 Cloudier Manager CDH (Cloudera's Distribution,including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管...
搭建CDH5.15 Linux7 集群教程：三节点安装详解
以上是CDH5.15.0集群在Linux 7环境下安装和配置的关键步骤，每一步都需要仔细操作以确保整个集群环境的顺利搭建。在实际操作过程中，可能还需要根据具体网络环境和需求进行调整。如果你在安装过程中遇到问题，可以在...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值