hadoop记录篇8-cdh5离线安装

一 。CDH简介

     CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
    Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化

  具体 关于Cloudera Manager(简称:cm)的用法 参考 (https://www.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Introduction/cm5i_primer.html)

》》相关术语

以下图示表示相关术语的关系 具体描述参考:

  •     deployment :- Cloudera管理器和它管理的所有集群的配置。
  •     cluster : 一个逻辑实体,包含一组主机、一个安装在主机上的CDH版本以及在主机上运行的服务和角色实例。主机只能属于一个集群。
  •     host : 运行角色实例的物理或虚拟机。
  •     rack : 包含一组物理主机的物理实体,通常由同一个交换机提供服务。
  •     service : cdh中的一类功能,有时被称为服务类型。例如:MapReduce、HDFS、yarn。记住这一基本原则也很有帮助:而         在传统环境中,一个主机、cdh和其他分布式系统上运行多个服务,一个服务在许多主机上运行。.
  •     service instance :在集群上运行的服务实例。服务实例跨越多个角色实例。例如: "H" and "yarn".
  •     role : 服务中的一类功能。例如,HDFS服务具有以下角色:: NameNode, SecondaryNameNode, DataNode, and                 Balancer.有时被称为角色类型.
  •     role instance : 在主机上运行的角色的实例。它通常映射到UNIX进程。例如: "NameNode-h1" and "DataNode-h1".
  •     role group : 一组角色实例的一组配置属性.
  •     host template : 一组角色组。当模板应用于主机时,将创建每个角色组的角色实例并将其分配给该主机.
  •     gateway : 当该主机没有运行该服务的任何角色实例时,该主机将接收该服务的客户端配置。.
  •     parcel : 包含编译代码和元信息(如包描述、版本和依赖项)的二进制分发格式.

》》CDH组件

    CDH管理着跨组件版本,并提供一个稳定的平台供许多包一起运行:
       HDFS—自我修复的分布式文件系统
       MapReduce—强大的并行数据处理框架
       Hadoop Common—一组支持Hadoop子项目的工具
       HBase—支持随机读/写访问的Hadoop数据库
       Hive—在大数据集合上的类SQL查询和表
       Pig—数据流语言和编译器
       Oozie—针对互相依赖的Hadoop作业的工作流
       Sqoop—利用集成到Hadoop的数据库和数据仓库
       Flume—高可靠、可配置的数据流集合
       Zookeeper—面向分布式应用的协调服务
       Hue—可视化Hadoop应用的用户接口框架和SDK

》》Cloudera Manager架构

  Cloudera管理器的核心是Cloudera管理器服务器。服务器承载管理控制台Web服务器和应用程序逻辑。它负责安装软件、配置、启动和停止服务,以及管理运行服务的集群。


Cloudera管理器服务器与其他几个组件一起工作:

  • Agent:安装在每台主机上。它负责启动和停止进程,解压缩配置,触发安装和监控主机
  • Management Service:执行各种监控、报警和报告功能的一组角色的服务。
  • Database:存储配置和监控信息
  • Cloudera Repository:可供Cloudera Manager分配的软件的存储库(repo库)
  • Client:用于与服务器进行交互的接口: 
  1. Admin Console:管理员控制台
  2. API:开发人员使用 API可以创建自定义的Cloudera Manager应用程序
 

二 。CDH安装

  Cloudera管理器可以帮助我们安装内嵌的hadoop套件  需要有个一个管理服务器 和若干个agent代理服务器  多个代理服务器可以位于同一个rack(host分组)中



》》系统环境准备

192.168.58.133 cdh1    cmserver  mysql-server
192.168.58.144 cdh2    cmagent
192.168.58.145 cdh3    cmagent
192.168.58.132 chd4    cmagent

系统使用 centos7 (cat /etc/centos-release)
同步时间 三台机器执行
[root@cdh1 ~]# ln -sf  /usr/share/zoneinfo/Asia/Shanghai    /etc/localtime
[root@cdh1 ~]# ntpdate time1.aliyun.com
关闭防火墙
[root@bogon ~]# systemctl disable firewalld
[root@bogon ~]# iptables --flush
修改主机名
192.168.58.133 执行 hostnamectl set-hostname cdh1
192.168.58.144 执行 hostnamectl set-hostname cdh2
192.168.58.145 执行 hostnamectl set-hostname cdh3
192.168.58.132 执行 hostnamectl set-hostname cdh4

logout重新登录 
分别查看是否修改成功
[root@cdh3 ~]# more /etc/hostname
cdh3
修改133 etc/hosts  追加内容
192.168.58.133 cdh1
192.168.58.144 cdh2
192.168.58.145 cdh3
192.168.58.132 cdh4
发送到其他机器
scp /etc/hosts root@192.168.58.144:/etc/
scp /etc/hosts root@192.168.58.145:/etc/
scp /etc/hosts root@192.168.58.132:/etc/
cm安装要求server服务器能免密登录其他agent  133上生成密钥对:
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost 测试不需要输入密码
公钥拷贝到144 145添加到认证文件
scp ~/.ssh/id_rsa.pub root@cdh2:~/.ssh/
scp ~/.ssh/id_rsa.pub root@cdh3:~/.ssh/
scp ~/.ssh/id_rsa.pub root@cdh4:~/.ssh/
两台机器执行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[root@cdh1 ~]# ssh cdh2
Last login: Fri Apr 20 09:50:00 2018 from 192.168.58.1
[root@cdh2 ~]# exit
logout
Connection to cdh2 closed.
[root@cdh1 ~]# ssh cdh3
Last login: Thu Apr 19 18:50:19 2018 from 192.168.58.1
[root@cdh3 ~]# exit
logout
Connection to cdh3 closed.
免密登录成功登录cdh2和cdh3
》》离线下载依赖工具准备(yum安装的mysql就没有列出)

  1.     cm5.5.6  (http://archive.cloudera.com/cm5/cm/5/  下载cloudera-manager-centos7-cm5.5.6_x86_64.tar.gz)
  2.    cdh parcel离线包 (http://archive.cloudera.com/cdh5/parcels/5.5.6/ 下载和cm相同版本的cdh镜像 其中el7表示centos7版本)   需要下载下面三个文件   
    CDH-5.5.6-1.cdh5.5.6.p0.2-el7.parcel
    CDH-5.5.6-1.cdh5.5.6.p0.2-el7.parcel.sha1
    manifest.json
  3.    jdk1.7 (官网描述cdh5版本支持jdk1.7)
    下载地址:(http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html)

》》安装过程(过程参考https://www.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Installation-Guide/cm5ig_install_path_C.html)

  1 》安装jdk
     上传到linux后安装

 rpm -ivh jdk-7u79-linux-x64.rpm

  2》安装mysql服务器

       Cloudera管理器使用数据库存储有关Cloudera管理器配置(loudera Manager Server, Cloudera Management Service, 和 Hive的元数据)的信息,以及系统或任务进度等信息。为了方便快速完成简单安装,Cloudera管理器可以安装和配置嵌入式PostgreSQL数据库  这里不使用内嵌的PostgreSQL 而使用外部数据库mysql(mariadb) 参考

(https://www.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Installation-Guide/cm5ig_installing_configuring_dbs.html#cmig_topic_5)
   Preparing an Cloudera Manager Server External Database章节

    133机器上安装 centos7不能直接使用yum安装 mysql-server  我这里使用mariadb替代

yum -y install epel-release.noarch mariadb-server mariadb
 启动并登陆测试

service mariadb start && mysql -uroot -proot
cm5需要通过java远程连接mysql所以需要将java的驱动包放在某个特定的目录(/usr/share/java)名字必须是mysql-connector-java.jar
下载地址:https://dev.mysql.com/downloads/connector/j/5.1.html
mkdir -p /usr/share/java/
cp /soft/mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar
  3》安装cm5
  下载对应cm安装包(http://archive.cloudera.com/cm5/) 比如我这里下载cloudera-manager-centos7-cm5.5.6_x86_64.tar.gz

mkdir -p /opt/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

创建cm运行的用户(home目录cm版本目录对应上)所有3台主机都要创建

useradd --system --home=/opt/cloudera-manager/cm-5.5.6/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
其他两台机器拷贝 cm 执行以下命令
scp -r /opt/cloudera-manager root@cdh2:/opt/cloudera-manager
scp -r /opt/cloudera-manager root@cdh3:/opt/cloudera-manager
修改两台agent机器(144和145) 配置server
vi /opt/cloudera-manager/cloudera-manager/cm-5.5.6/etc/cloudera-scm-agent/config.ini
修改server_host为 cdh1或者ip地址:192.168.58.133  server_port使用默认7182【没有修改过服务器的】
133 cmserver上初始化数据库
/opt/cloudera-manager/cm-5.5.6/share/cmf/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm scm scm
成功结果:
root@cdh1 cm-5.5.6]# /opt/cloudera-manager/cm-5.5.6/share/cmf/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm scm scm
JAVA_HOME=/usr/java/jdk1.7.0_79
Verifying that we can write to /opt/cloudera-manager/cm-5.5.6/etc/cloudera-scm-server
Creating SCM configuration file in /opt/cloudera-manager/cm-5.5.6/etc/cloudera-scm-server
Executing:  /usr/java/jdk1.7.0_79/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.5.6/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cloudera-manager/cm-5.5.6/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!
查看 /opt/cloudera-manager/cm-5.5.6/etc/cloudera-scm-server目录/db.properties
# Auto-generated by scm_prepare_database.sh on Fri Apr 20 12:24:11 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
动将数据库信息写入了该配置文件  mysql下创建了一个数据库scm 创建了一个用户scm 密码scm 服务器是localhost
添加cm5的cdh5镜像parcel  下载地址:http://archive.cloudera.com/cdh5/parcels/5.5.6/
下载和cm相同版本的cdh镜像 其中el7表示centos7版本
CDH-5.5.6-1.cdh5.5.6.p0.2-el7.parcel
CDH-5.5.6-1.cdh5.5.6.p0.2-el7.parcel.sha1
manifest.json
将三个文件 放入/opt/cloudera/parcel-repo目录
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
启动server
/opt/cloudera-manager/cm-5.5.6/etc/init.d/cloudera-scm-server start
[root@cdh1 init.d]# netstat -nlp | grep java
tcp        0      0 0.0.0.0:7180            0.0.0.0:*               LISTEN      5390/java           
tcp        0      0 0.0.0.0:7182            0.0.0.0:*               LISTEN      5390/java 
7180是web管理界面
7182用于agent连接server
启动两台agent
/opt/cloudera-manager/cm-5.5.6/etc/init.d/cloudera-scm-agent start
浏览器访问 http://192.168.58.133:7180/ 输入用户名密码都是admin 注意 浏览器语言设置为简体中文 显示中文版


三 。CDH删除重装

  1> 删除Agent节点的UUID 

   # rm -rf /opt/cloudera-manager/cm-5.5.6/lib/cloudera-scm-agent/*

2>  清空主节点CM数据库
 进入主节点的Mysql数据库,然后drop database scm;
 3> 删除Agent节点namenode和datanode节点信息
     # rm -rf /opt/dfs/nn/*
     # rm -rf /opt/dfs/dn/*
4> 在主节点上重新初始化CM数据库
/opt/cloudera-manager/cm-5.5.6/share/cmf/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm scm scm
5> 执行启动脚本
 启动server
/opt/cloudera-manager/cm-5.5.6/etc/init.d/cloudera-scm-server start
启动agent
 
/opt/cloudera-manager/cm-5.5.6/etc/init.d/cloudera-scm-agent start


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值