CDH6.3.2安装教程

前言

最近在学习安装CDH,搜索了很多教程勉强安装成功。但教程良莠不齐,导致安装过程中遇到各种各样的问题。为了方便以后查看,现将总结的安装教程记录在这里。如有侵权,联系删除。

 1、准备工作

准备以下安装包:

Cloudera Manager:

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

CDH Parcel:

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1

manifest.json

MySQL:

mysql-community-common-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

mysql-community-devel-5.7.19-1.el7.x86_64.rpm

mysql-community-client-5.7.19-1.el7.x86_64.rpm

mysql-community-server-5.7.19-1.el7.x86_64.rpm

2、集群规划

3、系统准备

3.1 修改主机名及映射(全部节点)

vi /etc/hostname

vi /etc/hosts

3.2 关闭防火墙(全部节点)

firewall-cmd --state          # 查看防火墙状态

systemctl stop firewalld      # 停止防火墙的服务

systemctl disable firewalld   # 禁止开机启动

3.3 selinux关闭(全部节点)

编辑文件,修改SELINUX的值为disable

vi /etc/sysconfig/selinux

SELINUX=disabled

查看状态

sestatus -v

SELinux status:                 disabled

3.4 配置免密登录(SSH

在用户主目录下,进入.ssh文件夹

cd .ssh

生成密钥

ssh-keygen -t rsa

发放其他主机

ssh-copy-id 主机名

3.5 时间同步NTP

所有节点安装ntp

yum -y install ntp

主节点:

vi /etc/ntp.conf

先注释四个server  然后添加server主机ip  

vi /etc/sysconfig/ntpd

SYNC_CLOCK=yes

启动服务

systemctl start ntpd.service

systemctl enable ntpd.service

service ntpd status

其他节点:

Crontab -e

写入:

*/10 * * * * /usr/sbin/ntpdate 主节点

3.6 互ping测试

3.7 修改系统参数(全部节点)

sysctl vm.swappiness=10

echo 'vm.swappiness=10'>> /etc/sysctl.conf

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local

echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

3.8 安装http

yum -y install httpd

启动服务

service httpd start

service httpd status

4、安装软件

4.1 安装依赖(全部节点)

yum -y install chkconfig

yum -y install bind-utils

yum -y install chkconfig

yum -y install cyrus-sasl-gssapi

yum -y install cyrus-sasl-plain

yum -y install fuse

yum -y install fuse-libs

yum -y install gcc

yum -y install libxslt

yum -y install mod_ssl

yum -y install MySQL-python

yum -y install openssl

yum -y install openssl-devel

yum -y install perl

yum -y install portmap

yum -y install postgresql-server

yum -y install psmisc

yum -y install python-devel

yum -y install python-psycopg2

yum -y install python-setuptools

yum -y install sed

yum -y install sqlite

yum -y install swig

yum -y install zlib

yum install lsb

4.2 安装JDK(全部节点)

1)上传JDK, jdk-8u291-linux-x64.tar.gz,在root用户下解压和配置

目录为:/usr/local/java/jdk1.8.0_291

tar -zxvf jdk-8u291-linux-x64.tar.gz -C /usr/local/java

2)修改配置文件vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_291

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

使环境变量生效

source /etc/profile

添加软连接,如果存在/usr/bin/java,可以先删除。

rm -rf /usr/bin/java
ln -s /usr/local/java/jdk1.8.0_171/bin/java /usr/bin/java

4.3 安装mysql(第一台)

按以下顺序安装

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force

rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force

rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force

rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force

rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force

rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

启动mysql

systemctl start mysqld

设置开机自启动mysql

systemctl enable mysqld

获取临时密码

cat /var/log/mysqld.log | grep password

设置密码

set password=password('密码');

quit;

登陆设置允许外网访问当前的MySQL

mysql -uroot -p'密码'

use mysql;

update user set host='%' where host='localhost';

delete from user where host != '%';

flush privileges;

quit;

建立相关数据库及用户

登录mysql -uroot -p 密码

grant all on *.* to root@'%' identified by "密码" with grant option;

create database scm default character set utf8 default collate utf8_general_ci;

grant all on scm.* to 'scm'@'%' identified by '密码';

create database hue default character set utf8 default collate utf8_general_ci;

grant all on hue.* to 'hue'@'%' identified by '密码';

create database hive default character set utf8 default collate utf8_general_ci;

grant all on hive.* to 'hive'@'%' identified by '密码';

create database azkaban default character set utf8 default collate utf8_general_ci;

grant all on azkaban.* to 'azkaban'@'%' identified by '密码';

flush privileges;

5、安装CM

5.1 安装deamons(全部节点)

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

5.2 安装agent(全部节点)

rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

5.3 配置agent的server节点(全部节点)

cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template

vim /etc/cloudera-scm-agent/config.ini

server_host=hostname(主节点主机名)

5.4 安装server(主节点)

rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

6、启动CM

6.1 上传CDH包到parcel-repo

修改sha1为sha

mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

将/opt/cloudera/parcel-repo 下的文件复制到 /var/www/html/cdh6_parcel/

6.2 修改配置

vim /etc/cloudera-scm-server/db.properties

# 填入如下内容

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=localhost(安装mysql的主机名)

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=root(用户名)

com.cloudera.cmf.db.setupType=EXTERNAL

com.cloudera.cmf.db.password=密码(mysql密码)

6.3 启动server(主节点)

service cloudera-scm-server start

systemctl status cloudera-scm-server  (查看server状态)

6.4 启动agent(全部节点)

service cloudera-scm-agent start

systemctl status cloudera-scm-agent    (查看agent状态)

查看日志

tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

查看端口

netstat -nltp

7、访问网页安装CDH集群

http://[server-host]:7180/cmf/login

账号:admin

密码:admin

进行访问,根据提示进行安装

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CM(Cloudera Manager)是一款用于管理大数据平台的工具,而CDH(Cloudera Distribution for Hadoop)则是Cloudera提供的一套基于Hadoop的大数据解决方案。离线安装指的是在没有网络连接的情况下完成安装过程。 首先,我们需要下载CM 6.3和CDH 6.3.2的离线安装包。可以通过Cloudera官方网站或者其他可靠的渠道获取相关安装包。 在离线安装过程中,我们需要将安装包文件传输到目标机器上。可以通过使用U盘、移动硬盘或者通过本地网络将文件传输到目标机器上。 安装之前,确保目标机器满足CM 6.3和CDH 6.3.2的系统要求。这些要求包括特定的操作系统版本、硬件配置和依赖软件的安装。 接下来,解压安装包文件。可以使用相关解压工具(如tar命令)将压缩包文件解压到指定的目录中。 运行Cloudera Manager安装脚本。在解压后的安装包目录中,可以找到一个名为"cm-6.3.x-installer.bin"(x表示具体的版本号)的安装脚本。运行此脚本以启动安装过程。 根据安装脚本的提示,完成Cloudera Manager的安装。这包括选择安装目录、指定数据库选项、配置集群名称和选择其他相关配置。 在Cloudera Manager安装完成后,通过Web浏览器访问Cloudera Manager的Web界面。在Web界面中,可以配置和管理CDH集群。可以按照界面的引导完成相关配置,包括添加主机、指定集群角色和配置相关服务。 最后,通过Cloudera Manager管理界面安装CDH 6.3.2。在界面中选择要安装的版本,并按照界面的引导完成相关配置。这包括选择所需的服务和配置不同服务的参数。 总之,离线安装CM 6.3和CDH 6.3.2的过程包括下载安装包、传输文件、解压安装包、运行Cloudera Manager安装脚本、配置和管理Cloudera Manager,以及通过管理界面安装CDH 6.3.2。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值