CDH安装

最新推荐文章于 2022-12-31 22:41:46 发布
最新推荐文章于 2022-12-31 22:41:46 发布
阅读量154 收藏
点赞数
分类专栏： hadoop CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44327656/article/details/89338507
版权
hadoop 同时被 2 个专栏收录
13 篇文章 0 订阅
订阅专栏
CDH
2 篇文章 0 订阅
订阅专栏

环境

IP地址主机名
192.168.0.100hadoop-master
192.168.0.101hadoop-slave1
192.168.0.102hadoop-slave2

准备工作

  1. 关闭防火墙firewalld

    # systemctl stop firewalld
# systemctl disable firewalld

  2. 关闭selinux

    # vi /etc/selinux/config
……
SELINUX=disabled
……
# setenforce 0 #立即生效

  3. 设置ntp

    #yum install ntpdate ntp -y
#ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#service ntpd restart
#ntpd

  4. 设置hostname

    # hostnamectl set-hostname hadoop-master
# hostnamectl set-hostname hadoop-slave1
# hostnamectl set-hostname hadoop-slave2

  5. 设置hosts

    cat << EOF >> /etc/hosts
192.168.0.100 hadoop-master
192.168.0.101 hadoop-slave1
192.168.0.102 hadoop-slave2
EOF

  6. 设置免密码登录

    在所有节点生成秘钥
# ssh-keygen -t rsa
生成authorized_keys文件
# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
将集群每个节点的公钥id_rsa.pub放入各节点的authorized_keys文件中

  7. 配置国内yum源

    # cd /etc/yum.repos.d/
# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

  8. 安装必要软件

    # yum update
# yum install -y unzip zip mod_ssl telnet httpd lrzsz chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap redhat-lsb psmisc libaio*

  9. 配置不使用虚拟内存

    # echo 'vm.swappiness=0' >> /etc/sysctl.conf 
# sysctl -p

  10. 禁用透明大页

    # echo never > /sys/kernel/mm/transparent_hugepage/defrag 
# echo never > /sys/kernel/mm/transparent_hugepage/enabled
加入自启动：
#echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
#echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

  11. 安装JDK

    tar -zxvf jdk-8u152-linux-x64.tar.gz
mkdir -p /usr/java
mv jdk1.8.0_152/ /usr/java/
# 设置软链接，方便升级替换
ln -s /usr/java/jdk1.8.0_152/ /usr/java/current

设置变量
cat << EOF >> /etc/profile
# JDK
export JAVA_HOME=/usr/java/current
export JRE_HOME=/usr/java/current/jre
export PATH=$PATH:/usr/java/current/bin
export CLASSPATH=./:/usr/java/current/lib:/usr/java/current/jre/lib
EOF

# 加载变量
source /etc/profile

  12. 安装mysql

    安装MySQL
tar -zxvf mysql-5.7.25-el7-x86_64.tar.gz -C /usr/local/
mv /usr/local/mysql-5.7.25-el7-x86_64/ /usr/local/mysql
# 添加账号
groupadd mysql
useradd -g mysql -s /sbin/nologin mysql
# 创建"data"目录
mkdir /data

# 赋权
chown -R mysql:mysql /usr/local/mysql/
chown -R mysql:mysql /data/
初始化MySQL
cd /usr/local/mysql/
bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/data
#获取root@localhost账号的初始密码

设置变量
cat << EOF >> /etc/profile
# MySQL
export PATH=$PATH:/usr/local/mysql/bin
EOF

# 加载变量
source /etc/profile
# 软链接
ln -s /usr/local/mysql/lib/mysql /usr/lib/mysql
ln -s /usr/local/mysql/include/mysql /usr/include/mysql
#设置开机启动
cp /usr/local/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld
chown mysql:mysql /etc/rc.d/init.d/mysqld
# 修改默认的"basedir"与"datadir"
vim /etc/rc.d/init.d/mysqld
basedir=/usr/local/mysql
datadir=/data
# 添加开机启动脚本
chkconfig --add mysqld
# 日志路径
mkdir -p /var/log/mysqld
touch /var/log/mysqld/mysqld.log
chown -R mysql:mysql /var/log/mysqld/
# pid路径
mkdir -p /var/run/mysqld
chown -R mysql:mysql /var/run/mysqld/

# socker路径
mkdir -p /var/lib/mysqld
chown -R mysql:mysql /var/lib/mysqld/
ln -s /var/lib/mysqld/mysql.sock /tmp/mysql.sock

设置my.cnf文件
# 注意"log-error"，"pid-file"与"socket"的路径
mkdir -p /usr/local/mysql/etc
cat << EOF >> /usr/local/mysql/etc/my.cnf
[mysqld]
character-set-server=utf8
max_connections = 3000
log-error=/var/log/mysqld/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
socket=/var/lib/mysqld/mysql.sock
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

[mysql]
default-character-set=utf8
EOF

# 软链接
ln -s /usr/local/mysql/etc/my.cnf /etc/my.cnf
# 赋权
chown -R mysql:mysql /usr/local/mysql/etc/
# 启动服务
service mysqld start
# 使用初始化密码登陆
mysql -uroot -p
# 修改密码，注意不能使用"$"等特殊符号
set password=password('cdh12#hadoop');
flush privileges;
# 远程登陆权限
grant all privileges on *.*  to  'root'@'%'  identified by 'cdh12#hadoop'  with grant option;
flush privileges;
#创建必要数据库
create database amon DEFAULT CHARACTER SET utf8;
create database rman DEFAULT CHARACTER SET utf8;
create database metastore DEFAULT CHARACTER SET utf8;
create database sentry DEFAULT CHARACTER SET utf8;
create database nav DEFAULT CHARACTER SET utf8;
create database navms DEFAULT CHARACTER SET utf8;
create database hive DEFAULT CHARACTER SET utf8;
create database hue DEFAULT CHARACTER SET utf8;
create database oozie DEFAULT CHARACTER SET utf8;
create user hive identified by '123qwe!';
create user hue identified by '123qwe!';
create user oozie identified by '123qwe!';
grant all on hive.* to 'hive'@'%' identified by '123qwe!' with grant option;
grant all on hue.* to 'hue'@'%' identified by '123qwe!' with grant option;
grant all on oozie.* to 'oozie'@'%' identified by '123qwe!' with grant option;
FLUSH PRIVILEGES;

Cloudera Manager安装

  1. 部署CM Server & Agent
```
1、下载解压
# wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.15.2_x86_64.tar.gz
# tar -xvzf /opt/cloudera-manager-centos7-cm5.15.2_x86_64.tar.gz -C /opt/
2、配置slave
vi /opt/cm-5.15.2/etc/cloudera-scm-agent/config.ini
server_host=hadoop-master
```

  1. 创建用户

    # useradd --system --home=/home/cloudera-scm --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

  2. 上传mysql驱动

    # cp mysql-connector-java-5.1.47.jar /opt/cm-5.15.2/share/cmf/lib/

  3. 初始化数据库脚本

    # /opt/cm-5.15.2/share/cmf/schema/scm_prepare_database.sh mysql -h hadoop-master -uroot -predhat --scm-host % scm scm 123qwe!

  4. 下载parcel

    # cd /opt/cloudera/parcel-repo
# wget http://archive.cloudera.com/cdh5/parcels/5.15.2/CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel.sha1
# mv CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel.sha1 CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel.sha
# wget http://archive.cloudera.com/cdh5/parcels/5.15.2/CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel

# cd /opt/cloudera/csd
# wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera4.jar

  5. 启动cm

    # /opt/cm-5.15.2/etc/init.d/cloudera-scm-server start
# tail -f /opt/cm-5.15.2/log/cloudera-scm-server/cloudera-scm-server.log

# /opt/cm-5.15.2/etc/init.d/cloudera-scm-agent start
# tail -f /opt/cm-5.15.2/log/cloudera-scm-agent/cloudera-scm-agent.log

zkUI安装

```
# cd /opt
# unzip zkui-master.zip
# cd zkui-master
# wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
# yum -y install apache-maven
# mvn clean install
# mkdir /opt/zkui
# cp config.cfg target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar /opt/zkui

# vi /opt/zkui/config.cfg
  serverPort=80
  zkServer=dg001:2181,dg002:2181
  userSet = {"users": [{ "username":"admin" , "password":"dgMysql1!","role": "ADMIN" },{ "username":"appconfig" , "NewPassword":"dgMysql1!","role": "USER" }]}
  
启动  
# cd /opt/zkui && nohup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &
```

组件安装（参考下一篇）

wx_Jum
关注
专栏目录
CDH安装概览篇
ASIN的专栏
08-03 793
说明CDH安装有好几种方式，新手容易困惑，故总结之。官网介绍参见官网–安装 Cloudera Manager、CDH 和受管服务，实际上总共有6个阶段， 每个阶段都有不同的方式可以完成。见下图，根据上述说明，在安装Cloudera Manager阶段时，共有A、B、C三种方式可以完成， 方式A是通过运行cloudera-manager-installer.bin文件的方式在线安装 方式B是通过yu
CDH安装学习指南，问题解决
最新发布
03-11
### 四、CDH安装过程中的常见问题及解决方案 #### 1. Kafka安装与配置 - Kafka是分布式消息系统，在CDH集群环境中常用于处理大量实时数据流。 - 安装Kafka前需确保Zookeeper服务已正确安装并运行。 - 在Cloudera ...
Clouder CDH Hadoop安装
Royce Wang专栏
07-22 8674
感觉CDH版本安装确实方便，但是一直没找到如何自定义安装目录，不太习惯这种方式。转下一个别人的帖子。1、先保证你的yum源是最新可用的，这样可以省好多事，例如pax, patch, python-setuptools都会被CDH3组件依赖。2、安装jdk, jre。 但对非RPM
CDH的安装
老码农的心路历程
12-31 1002
cdh的完整安装，需要安装包的私信我
CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署
07-13
《CDH安装手册》是大数据领域的一份重要参考资料，主要针对Hadoop的安装与部署进行详细阐述。CDH，全称Cloudera Distribution Including Apache Hadoop，是由Cloudera公司提供的一个开源大数据平台，它包含了多个...
CLOUDERA-Manager_中文手册（全 高清）+ CDH安装手册.pdf
03-12
* 集群安装：Cloudera Manager提供了自动化的集群安装功能，能够快速部署Hadoop集群。 * 集群配置：Cloudera Manager提供了灵活的集群配置功能，能够满足不同用户的需求。 * 权限管理：Cloudera Manager提供了完善的...
CDH安装手册
06-13
非常详细的搭建CDH的说明文档，自己一边搭建一边截图并附上说明文字。
CDH安装过程记录.txt
05-16
cdh5.13的安装文档，详细记录了安装的步骤和一下常见问题的解决办法
CDH安装(一)
qq_29860591的博客
07-20 275
下载包： https://archive.cloudera.com/cdh6/6.2.1/parcels/ https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/ 安装依赖包 yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bi...
Cloudera manager CDH安装
wflh323的专栏
02-13 457
  hostname和hosts配置，参考如下配置：         127.0.0.1 localhost.localdomain localhost         192.168.1.1 cluster-01.example.com cluster-01         192.168.1.2 cluster-02.example.com cluster-02         192.1...
Hadoop之CDH安装
热门推荐
dongyunlon的专栏
03-30 2万+
1. 离线数据存储及查询环境部署 离线数据的存储与查询主要是以hadoop为中心的技术栈，包括hive，hbase，hue，kylin等。部署hadoop的方式比较流行的主要有三种： 1. 直接部署Apache Hadoop，即手工部署，需要自己配置，协调版本兼容等，好处是能够加深理解，但是过程较繁琐。 2. Ambari ：Hortonworks的产品，用于创建，管理，监视hadoop集群...
[CDH基础]-- CDH安装
欢迎来到我的博客，一起探索代码里的世界！
06-06 2691
【一】Cloudera Manager  安装   一\\系统环境准备(三台机器server1,server2,server3) 前提：搭建本地Yum源 1、网络配置(server1,server2,server3)   #vi /etc/sysconfig/network   #vi /etc/hosts   #vi /etc/sysconfig/network-scripts/i...
CDH6.x安装教程(附带整合kerberos)
qq_32068809的博客
02-02 5094
一、安装前准备 设置HOST vi /etc/hosts 关闭防火墙 sudo systemctl disable firewalld sudo systemctl stop firewalld 设置SELinux vi /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=permissive，然后重启服务器，或者执行下面命令： setenforce 0 开启NTP服务 # 安装NTP服务.....
CDH的安装与配置
weixin_46628206的博客
04-17 577
基础环境要求 OS: CENTOS 7.1及以上版本（推荐最小化安装，不然部分包版本会有冲突） JAVA: oracle JDK 1.7(不要使用OPENJDK) MYSQL: 5.6.12以上 需使用的安装文件： CDH-5.8.0-1.cdh5.8.0.p0.42-el7.parcel CDH离线安装文件 CDH-5.8.0-1.cdh5.8.0.p0.42-el7.parcel.s...
CDH安装教程
。。。。。。
12-24 4074
CDH安装教程 本篇是刚进入公司安装CDH的记录，远程服务器3台，用Xshell6 工具连接 虚拟的环境准备 1、主机名设置（每一台服务器都设置：后面没有单独说明的每台都要进行配置）： hostnamectl set-hostname dsy0 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=dsy0 cat /etc/sysconfig/network 2、网络配置： vim /etc/hosts cat /etc/hosts 3、禁
CDH 6.0.0、6.1.1安装
Sunshine
03-18 427
参考： https://blog.csdn.net/u010514380/article/details/88083139 https://blog.csdn.net/u010003835/article/details/85007946 https://blog.csdn.net/xsjzdrxsjzdr/article/details/86064094 https://www.c...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值