CDH 6.1安装过程

最新推荐文章于 2023-12-27 11:20:52 发布
最新推荐文章于 2023-12-27 11:20:52 发布
阅读量651 收藏
点赞数
分类专栏： CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42687074/article/details/106772544
版权

目录

一、JDK

二、配置镜像文件

三、上传数据库上传 mysql-5.6.39-linux-glibc2.12-x86_64.tar 到 /usr/local/

四、安装Mysql

五、安装所有节点：yum clean allyum makecache

五、运行

前文：

          CDH的好处太多不一一列举了。


一、JDK

cd /opt/software
rm -rf  jdk1.8.0_181
rm -rf /opt/software/jdk-8u181-linux-x64.tar.gz   

所有节点：
yum -y install rsync
yum -y install rpcbind

mkdir /usr/java/

主节点：
上传 oracle-j2sdk1.8-1.8.0+update141-1.x86_64 到/usr/java/

cd /usr/java/
rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
mv jdk1.8.0_141-cloudera/ jdk1.8/

scp -r /usr/java/jdk1.8 root@bt-02:/usr/java/
scp -r /usr/java/jdk1.8 root@bt-03:/usr/java/

所有节点：

vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8
JRE_HOME=/usr/java/jdk1.8/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

source /etc/profile

java -version


二、配置镜像文件

主节点：
mkdir /var/www/html/cm6.1.0
mkdir /var/www/html/cdh6.1.0

cp /opt/CDH610/* /var/www/html/cdh6.1.0/
cp /opt/CM610/* /var/www/html/cm6.1.0/

createrepo /var/www/html/cm6.1.0/
createrepo /var/www/html/cdh6.1.0/

cd /etc/yum.repos.d/ 
    
vim cm.repo
[cmrepo]
name = cm_repo
baseurl =http://bt-01/cm6.1.0/
enable = true
gpgcheck = false

vim cdh.repo
[cdhrepo]
name = cdh_repo
baseurl =http://bt-01/cdh6.1.0/
enable = true
gpgcheck = false

rsync /etc/yum.repos.d/* root@bt-02:/etc/yum.repos.d/
rsync /etc/yum.repos.d/* root@bt-03:/etc/yum.repos.d/

ll /etc/yum.repos.d/


主：资源包只要放在主节点

切换镜像：
所有节点：
cd /etc/yum.repos.d/
rename .repo .repo.bak *  
mv cm.repo.bak  cm.repo
mv cdh.repo.bak  cdh.repo

三、上传数据库
上传 mysql-5.6.39-linux-glibc2.12-x86_64.tar 到 /usr/local/

***********************************************************
        保        存
***********************************************************

四、安装Mysql

所有节点：
rpm -qa | grep -i mysql
rpm -e --nodeps MySQL-python-1.2.5-1.el7.x86_64  (不该执行这一步)

rpm -qa | grep -i mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64

find / -name mysql
rm -rf /etc/selinux/targeted/active/modules/100/mysql
rm -rf /usr/lib64/mysql

主节点：
useradd mysql
passwd mysql

cd /usr/local
tar -xzvf mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz
mv mysql-5.6.39-linux-glibc2.12-x86_64 mysql
chown -R mysql:mysql /usr/local/mysql

/usr/local/mysql/scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
cp my-default.cnf  /etc/my.cnf 
cp mysql.server /etc/init.d/mysql

vi /etc/my.cnf
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data

vi /etc/init.d/mysql
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data

chkconfig --add mysql
chkconfig mysql on

service mysql start

/usr/local/mysql/bin/mysqladmin -u root password 123456

vi /etc/profile

JAVA_HOME=/usr/java/jdk1.8
JRE_HOME=/usr/java/jdk1.8/jre
MYSQL_HOME=/usr/local/mysql
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$MYSQL_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH MYSQL_HOME

source /etc/profile

mysql -u root -p123456
grant all privileges on *.* to root@"%" identified by "123456";
flush privileges;

mkdir /usr/share/java
把 mysql-connector-java.jar 放入/usr/share/java中

这一步权限非常重要，最后一次还要操作一次

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';
flush privileges;

主节点：
上传 MySQL-shared-5.6.47-1.el7.x86_64.rpm 到 /opt/software
rpm -ivh MySQL-shared-5.6.47-1.el7.x86_64.rpm

##################################


五、安装
所有节点：
yum clean all
yum makecache

重装：(误删)
cd /etc/yum.repos.d/
mv CentOS-Base.repo.bak CentOS-Base.repo
yum -y install MySQL-python
mv CentOS-Base.repo CentOS-Base.repo.bak

注意：作为依赖被安装:
  mariadb-libs.x86_64 1:5.5.64-1.el7 

主节点：
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

其他节点：
yum install cloudera-manager-daemons cloudera-manager-agent


/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
cp -r /var/www/html/cdh6.1.0/* /opt/cloudera/parcel-repo/

五、运行

主节点启动：
systemctl start cloudera-scm-server

#所有节点启动：
#systemctl start cloudera-scm-agent


netstat -ntlp |grep 7180
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

数据库用户权限访问主机确认

进入http://bt-01:7180

bt-01,bt-02,bt-03
http://bt-01/cdh6.1.0/
http://bt-01/cm6.1.0/

六、关闭集群
systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent

 

相关参考：https://blog.csdn.net/qq_39680564/article/details/100923644#comments

 

六、补充

6.1 界面

6.2 发行版本

组件版本发行版CDH 版本
Supervisord3.0不可用不适用
Cloudera Manager Agent6.1.0769885.el7不适用
Cloudera Manager Management Daemon6.1.0769885.el7不适用
Flume NG1.8.0+cdh6.1.0770702CDH 6.1.0
Hadoop3.0.0+cdh6.1.0770702CDH 6.1.0
HDFS3.0.0+cdh6.1.0770702CDH 6.1.0
HttpFS3.0.0+cdh6.1.0770702CDH 6.1.0
hadoop-kms3.0.0+cdh6.1.0770702CDH 6.1.0
MapReduce 23.0.0+cdh6.1.0770702CDH 6.1.0
YARN3.0.0+cdh6.1.0770702CDH 6.1.0
HBase2.1.0+cdh6.1.0770702CDH 6.1.0
Lily HBase Indexer1.5+cdh6.1.0770702CDH 6.1.0
Hive2.1.1+cdh6.1.0770702CDH 6.1.0
HCatalog2.1.1+cdh6.1.0770702CDH 6.1.0
Hue3.9.0+cdh6.1.0770702CDH 6.1.0
Impala3.1.0+cdh6.1.0770702CDH 6.1.0
Java 8java version "1.8.0_162" Java(TM) SE Runtime Environment (build 1.8.0_162-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)不可用不适用
Kafka2.0.0+cdh6.1.0770702CDH 6.1.0
Kite（仅限 CDH 5 ）1.0.0+cdh6.1.0770702CDH 6.1.0
kudu1.8.0+cdh6.1.0770702CDH 6.1.0
Oozie5.0.0-beta1+cdh6.1.0770702CDH 6.1.0
Parquet1.9.0+cdh6.1.0770702CDH 6.1.0
Pig0.17.0+cdh6.1.0770702CDH 6.1.0
sentry2.1.0+cdh6.1.0770702CDH 6.1.0
Solr7.4.0+cdh6.1.0770702CDH 6.1.0
spark2.4.0+cdh6.1.0770702CDH 6.1.0
Sqoop1.4.7+cdh6.1.0770702CDH 6.1.0
ZooKeeper3.4.5+cdh6.1.0770702CDH 6.1.0
    

 

CDH 6 安装
あずにゃん梓喵的博客
02-13 3323
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 在CDH安装之前必须保证NODE1主节点中的以下程序均已启动 1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、systemctl restart ntpd 查看是否启动 ps...
CDH6.1安装部署文档附带安装包（三节点为例）
Alan3344的博客
12-03 3821
一、安装包下载 链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA 提取码：q8mb 注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可 二、上传安装包到master节点 #个人习惯在opt目录下创建一个package目录用于存放安装包 三、解压安装zip包 指令如下： unzip cloudera.zip 如图： 四、前期服务器环境准备 1、 ...
CDH6.1.1全离线安装RPM依赖包
03-02
依赖基于OS版本为CentOS-7-x86_64-Minimal-1810.iso，其他的系统可能依赖不同，请自主选择，其中包含的rpm安装包有： bind-utils, cyrus-sasl, fuse, fuse-libs, httpd, libtidy, libxslt, mod_ssl, mysql-python, nc, net-tool, ntp, openssl-devel, portmap, python-psycopg2, python-setuptools, redhat-lsb
linux下部署CDH6.0.1详细步骤
05-06
CDH6安装步骤主要包括以下四部分： 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等； 2.外部数据库如MySQL安装 3.安装Cloudera Manager； 4.安装CDH集群； 请务必注意CDH6的安装前置条件包括如下： • 外部数据库支持： 1.MySQL 5.7或更高 2.MariaDB 5.5或更高 3.PostgreSQL 8.4或更高 4.Oracle 12c或更高 • JDK Oracle JDK1.8，将不再支持JDK1.7 • 操作系统支持 1.RHEL 6.8或更高 2.RHEL 7.2或更高 3.SLES 12 SP2或更高 4.Ubuntu 16或更高 • 本次Fayson的测试环境为 1.CM和CDH版本为6.0.0-beta1 2.Redhat7.4 3.JDK1.8.0_141 4.MariaDB-5.5.56
Kettle集成CDH6.1：Hadoop File Output错误解析与解决
在搭建过程中，用户已经按照常见教程设置了Kettle（版本8.0）与CDH 6.1（包含Hadoop 3.0.0）的连接，包括core-site.xml和hdfs-site.xml等配置文件，以及必要的Hadoop客户端jar包（如hadoop-client-3.0.0-cdh6.1.0....
0487-CDH6.1的新功能
Hadoop_SC的博客
01-12 922
北京时间2018年12月19日，Cloudera正式发布Cloudera Enterprise 6.1.0，上次发布CDH6.0是8月30日，差不多过去了3个多月的时间，参考Fayson之前的文章《Cloudera Enterprise 6正式发布》。从CDH6.0到CDH6.1是一次minor version的更新，但更新内容较多，在开始接下来的细化功能讨论前，我们先看看几项重点更新的内容： 1...
0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8
Hadoop_SC的博客
12-30 565
1 文档编写目的 受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响，Cloudera开始开发基于OpenJDK的Hadoop平台，参考Fayson之前的文章《Java收费，Hadoop怎么办？》。今年11月29日，Cloudera才发布不久的CDH5.16.1正式提供OpenJDK的支持，参考Fayson之前的文章《0466-CDH5.16.1和CM5.16....
0593-CDH5与CDH6对比
Hadoop_SC的博客
11-08 3729
1 文档编写目的 Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就...
CDH6.2-完整版安装文档.doc
02-26
CDH、Cloudera集群搭建详细步骤文档
CDH6安装手册
言午玉口才
05-10 2082
1. CDH服务器操作系统安装 1.1 管理节点分区简单配置 管理节点数为1，总共4块盘（每块600G），做raid10，为系统盘；剩余2块硬盘（每块2.4T）整体做RAID1，为数据磁盘 图1-1 namenode服务器配置 Raid 用途 容量GB 分区目录 容量 用途
MySQL笔记（三）
weixin_46376562的博客
09-21 1806
MySQL安装 下载安装包 官网链接 安装 直接双击下载文件，进行安装。 这里引荐一篇大佬的文章 MySQL配置 基本配置已经在安装过程中完成了， 如果还想修改配置，只需要修改 my.ini 文件即可 [mysqld] port = 3306 socket = /tmp/mysql.sock #设置mysql的安装目录 basedir=F:\Hzq Soft\MySql Server 51GA #设置mysql数据库的数据的存放目录，必须是data，或者是\xxx-data datadir=F:\Hzq
CDH6安装教程(亲自测试越坑版)
IT- 研究者
09-12 5909
一、Hadoop大数据平台 1、Hadoop 发行版 (1) 完全开源的原生的Apache Hadoop (2) Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks合并后，Cloudera公司推出了新一代的数据平台产品CDP Data Center（以下简称为CDP） (3) MapR公司的MapR(已经被HPE收购) (4) AWS亚马逊的EMR (5) 国内华为的fusioninsight (
CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程
BlogPan的专栏
08-23 8989
CDH是一个基于Apache Hadoop的开源软件分发版本，由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案，组件包括Hadoop分布式文件系统（HDFS）、分布式计算框架（MapReduce）及其他相关开源组件，如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程，使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具，用于管理和监控CDH集群。
CDH6.3.2大数据集群生产环境安装(六)之clouderManager初始化以及CDH的kafka、hdfs、zookeeper、hbase、spark等各组件安装
nhm_lxy的专栏
04-10 319
CDH6.3.2大数据集群生产环境安装(六)之clouderManager初始化以及CDH的kafka、hdfs、zookeeper、hbase、spark等各组件安装
CDH6.3.1安装
Allenzyg的博客
05-28 5947
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
CDH 6.1.1完全离线安装分享
super小靖
03-02 9081
CDH6.1.1 完全离线安装分享前言说明安装步骤一、虚拟机IP配置二、配置hostname三、配置hosts四、禁用防火墙五、卸载mariadb软件六、禁用SELinux功能七、配置SSH 登陆端口八、安装软件九、所有的机器都相同的安装十、配置时钟同步1、server服务器配置2、client 服务配置十一、配置 repos服务1、下载2、拷贝到一台网路环境比较好的机器上3、解压缩，建立rpm包服务器4、...
CDH 6.3.2-1 离线安装部署（Centos7.9）
最新发布
小强签名设计 的博客
12-27 1154
  三台服务器都操作： 三、安装 Cloudera-Manager 四、访问 Cloudera Manager 五、集群异常信息解决 参考： Linux搭建Cloudera Manager+CDH6.3.1环境
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值