大数据之CDH（web页面部署Hadoop）

最新推荐文章于 2024-07-23 02:34:36 发布
最新推荐文章于 2024-07-23 02:34:36 发布
阅读量1.1w 收藏 41
点赞数 3
文章标签： hadoop mysql big data web
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanxifaner/article/details/120210259
版权

一、了解CDH

在众多 Hadoop 版本中， CDH 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。

1.1 Hadoop

  • 属于开源软件，采用Apache 2.0许可协议
  • 官方版本称为社区版Hadoop

1.2 比较流行Hadoop版本

  • Apache Hadoop
    维护人员比较多，更新频率比较快，稳定性相对比较差
  • Cloudera Hadoop（CDH）
    Cloudera公司的发行版本，基于Apache Hadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、增加Cloudera兼容特

1.3 Cloudera Hadoop（CDH）概述

  • Hadoop发行版除了社区的Apache hadoop外，Cloudera、Hortonworks、MapR、EMC、IBM、INTEL、华为等都提供自己的商业版本
  • CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作
  • CDH常用安装方式
    Cloudera Manager在线安装
    Parcel安装
    YUM安装·RPM安装

二、部署CDH

环境配置

  • 资源分配

    cdhmaster节点 至少2C6G

    cdhslave01/cdhslave02节点至少2C4G

  • 修改主机名

    hostnamectl set-hostname cdhmaster
hostnamectl set-hostname cdhslave01
hostnamectl set-hostname cdhslave02

  • 所有节点添加hosts解析

    cat >> /etc/hosts << EOF
172.16.10.10 cdhmaster
172.16.10.11 cdhslave01
172.16.10.12 cdhslave02
EOF

  • 关闭防火墙

    systemctl stop firewalld
systemctl disable firewalld

  • 关闭内核安全机制

    sed -i "s/.*SELINUX=.\*/SELINUX=disabled/g" /etc/selinux/config

  • 时间同步

    yum -y install chrony
systemctl start chronyd
chronyc sources -v

2.1 安装JDK环境

  • 所有集群节点都要执行
# 解压
tar zxvf jdk-8u171-linux-x64.tar.gz -C /opt
# 改名
mv /opt/jdk1.8.0_171 /opt/jdk
# 修改环境变量
cat >> /etc/profile << EOF
export JAVA_HOME=/opt/jdk
export PATH=\$JAVA_HOME/bin:\$PATH
EOF
# 刷新环境变量
source /etc/profile
# 查看版本
java -version

2.2 配置免密登录

  • 仅在cdhmaster节点执行
  • cdhmaster 节点需要通过 SSH 对 cdhslave 节点进行管理，需要配置 SSH 免密码登录
ssh-keygen
ssh-copy-id cdhslave01
ssh-copy-id cdhslave02

2.3 交换分区和大页设置

  • 所有集群节点都要执行

  • 禁用交换分区和透明大页，否则会在安装配置 CDH 群集环境检测中报错

sysctl -w vm.swappiness=0
echo “vm.swappiness=0” >> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never >/sys/kernel/mm/transparent_hugepage/enabled
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.d/rc.local
echo "echo never > /sys/kernel/mm/transparent_hughugepage/enabled" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

2.4 部署数据库

  • 仅在cdhmaster节点执行
#卸载mariadb
for i in $(rpm -qa | grep mariadb);do rpm -e ；done
# 安装mysql
yum -y install libaio
# 创建用户
useradd -s /sbin/nologin mysql
# 解压msyql安装
tar zxf mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz
# 移动安装路径
mv mysql-5.7.22-linux-glibc2.12-x86_64 /usr/local/mysql
# 初始化数据库
cd /usr/local/mysql/bin
./mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data
# 复制mysql服务启动文件
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
# 上传mysql的配置文件my.cnf（需要手写）文件并移动到/etc/下
mv my.cnf  /etc/
# 启动mysql
/etc/init.d/mysqld start
# 创建软链接，方便使用mysql命令
ln -s /usr/local/mysql/bin/mysql /usr/sbin/ 

# 登录mysql
mysql -uroot -p
# 修改密码
alter user 'root'@'localhost' identified by '123456';
# 创建数据库并授权
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to 'cdh'@'localhost' identified by '123456' with grant option;
grant all privileges on *.* to 'cdh'@'%' identified by '123456' with grant option;
grant all privileges on *.* to 'root'@'127.0.0.1' identified by '123456' with grant option;
grant all privileges on *.* to 'scm'@'127.0.0.1' identified by '123456' with grant option;
# 刷新权限
flush privileges;
#退出mysql
exit

2.5 部署CDH

2.5.1 安装依赖包

  • 所有集群节点都要执行
yum -y install psmisc libxslt libxslt-python perl

2.5.2 安装cloudera-manager

  • 仅在cdhmaster节点执行
tar zxf cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz -C /opt/
# 改名
mv /opt/cm-5.14.0/ /opt/cm

2.5.3 安装JDBC驱动

  • 仅在cdhmaster节点执行
tar zxf mysql-connector-java-5.1.46.tar.gz
cd mysql-connector-java-5.1.46/
chmod +x mysql-connector-java-5.1.46-bin.jar
cp mysql-connector-java-5.1.46-bin.jar /opt/cm/share/cmf/lib/mysql-connector-java.jar
mkdir /usr/share/java
cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

2.5.4 创建Cloudera Manager 用户

  • 所有集群节点都要执行
useradd --system --home=/opt/cm/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

2.5.5 初始化 Cloudera Manager 数据库

  • 仅在cdhmaster节点执行
/opt/cm/share/cmf/schema/scm_prepare_database.sh mysql cm -h localhost -uroot -p'123456' scm '123456'

2.5.6 修改 Cloudera Manager 配置文件

  • 仅在cdhmaster节点执行
# 在cdhmaster主节点上修改 Cloudera Manager 的配置文件，将 server_host 设置项的值改为主节点 cdhmaster 主机的 IP 地址，让从节点去找主节点
vim /opt/cm/etc/cloudera-scm-agent/config.ini
server_host=172.16.10.10

# 将文件推送到slave节点，同步 Cloudera Manager 数据到其他节点
scp -r /opt/cm/ cdhslave01:/opt/
scp -r /opt/cm/ cdhslave02:/opt/

2.5.7 上传 Parcel 文件

  • 仅在cdhmaster节点执行
mv manifest.json CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1 /opt/cloudera/parcel-repo/
# 改名
cd /opt/cloudera/parcel-repo/
mv CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1 CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha

2.5.8 启动Cloudera Manager 服务

  • 仅在cdhmaster节点执行
#添加认证
echo "com.cloudera.cmf.db.useSSL=true" >> /opt/cm/etc/cloudera-scm-server/db.properties
# 创建cloudera-scm-server服务启动目录
mkdir /var/lib/cloudera-scm-server
# 启动
/opt/cm/etc/init.d/cloudera-scm-server start
/opt/cm/etc/init.d/cloudera-scm-agent start
# 查看端口（时间会比较长）
netstat -anpt | grep 7180
  • slave节点启动cloudera-scm-agent
  • 在slave节点执行
/opt/cm/etc/init.d/cloudera-scm-agent start
# 查看端口
netstat -anpt | grep -E '19001|9000'

2.6 安装配置CDH群集

2.6.1 使用 CDH 管理控制台

打开浏览器，并在地址栏输入“http://172.16.10.10:7180”，将登录 Cloudera Manager的 Web 管理控制台，默认的用户名和密码分别是 admin 和 admin
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 到这先不要点继续，回到虚拟机中，执行以下操作：
  • 在slave节点执行
# 解压mysql-connector
tar zxf mysql-connector-java-5.1.46.tar.gz
  • 在所有节点执行
cd mysql-connector-java-5.1.46/
cp mysql-connector-java-5.1.46-bin.jar /opt/cloudera/parcels/CDH/lib/hive/lib/mysql-connector-java.jar
cp mysql-connector-java-5.1.46-bin.jar /opt/cloudera/parcels/CDH/lib/hadoop/lib/mysql-connector-java.jar
cp mysql-connector-java-5.1.46-bin.jar /var/lib/oozie/mysql-connector-java.jar
# 查看是否复制成功
ll /opt/cloudera/parcels/CDH/lib/hive/lib/mysql-connector-java.jar
ll /opt/cloudera/parcels/CDH/lib/hadoop/lib/mysql-connector-java.jar
ll /var/lib/oozie/mysql-connector-java.jar
  • 然后回到浏览器点击 继续
    在这里插入图片描述

2.6.2 群集设置

在这里插入图片描述

  • 选择自定义服务，选择HDFS/Hive/Oozie/YARN
    在这里插入图片描述
  • 选择之前已经创建的数据库，输入用户和密码，并测试数据库连接，hive
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 安装完成后需要回到master节点安装kafka

2.6.3 配置并添加 Kafka 服务

  • 上传 Kafka 介质

  • 在master节点执行

mv KAFKA-1.2.0.jar /opt/cloudera/csd
mv KAFKA-2.0.2-1.2.0.2.p0.5-el7.parcel /opt/cloudera/parcel-repo
mv KAFKA-2.0.2-1.2.0.2.p0.5-el7.parcel.sha1 /opt/cloudera/parcel-repo/KAFKA-2.0.2-1.2.0.2.p0.5-el7.parcel.sha
  • 分配、激活 Parcel
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 先添加zookeeper服务，在添加ksfka服务
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 添加kafka服务
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
leon.yan1994
关注
  • 3
    点赞
  • 踩
  • 41
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop99：大数据平台安装部署--CDH6.2版本单机
weixin_40612128的博客
02-02 3079
一、CDH介绍 CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 二、本地单机安装测试，资源有限 操作系统：CentOS7.5 内存：8g 硬盘 ：80G cpu：2core ...
Hadoop100：大数据平台安装部署--CDH6.2版本【集群】
weixin_40612128的博客
02-02 5991
1：CDH介绍 CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 2：CDH现状分
大数据开发之CDH使用搭建大数据平台
y_wang_的博客
04-09 4806
介绍CDH，并介绍使用其搭建大数据平台的详细步骤
简述Apache Hadoop、CDH及HDP
最新发布
weixin_36876372的博客
07-23 37
一.概述 当前，hadoop发行版众多，其中包括华为发行版（收费）、Intel发行版（收费）、Cloudera发行版（Cloudera’s Distribution Including Apache Hadoop，简称 CDH，免费），Hortonworks发行版（Hortonworks Data Platform，简称 ...
大数据cdh组件
02-05
hadoop运行cdh组件 Chd平台的本质，集成了多个大数据领域著名工具的一个平台
hadoop CDH
热门推荐
小海的专栏
02-07 3万+
CDH 1、CDH简介 CDH：全称Cloudera’s Distribution Including Apache Hadoop　　CDH版本衍化　　hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。　　Cloudera公司的发行版，我们将该版本称为CDH(Cloudera Distribution Hadoop)。
大数据平台CDH搭建
weixin_33724046的博客
05-31 662
一、概述 Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 二、安装部署 序号 IP地址 主机名 系统版本 1 17...
Cloudera的CDH和Apache的Hadoop的区别
余康的专栏
08-14 3937
目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本
【环境搭建】CDH版Hadoop环境搭建
weixin_34356310的博客
09-13 470
1.下载组件 首先去CDH网站上下载hadoop组件 地址：http://archive.cloudera.com/cdh5/cdh/5/ 注意版本号要与其他的组件CDH版本一致   2.环境配置 设置主机名和用户名 配置静态IP 配置SSH免密登录 配置JDK 3.配置HADOOP 1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行 ...
大数据CDH集群部署文档v1.1.docx
08-13
大数据CDH集群部署文档是指利用Cloudera Distributed Hadoop（CDH）搭建大数据集群的指导手册，旨在帮助用户快速搭建大数据环境，学习大数据利器。以下是该文档的知识点总结： 大数据CDH集群概述 CDH是Cloudera...
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
CDH 5.16.2是CDH系列的一个重要更新，它对各个组件进行了优化，提升了整体性能，同时也提供了更完善的管理工具和服务，便于企业进行大数据平台的部署、监控和维护。 CDH的优势在于其对企业级需求的深度支持，包括...
大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 7373
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
2 CDH 部署hadoop
三成的博客
02-02 786
1. 部署环境 CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。 Cloudera Manager分为： Cloudera Manager Server：对整个集群提供监控与管理操作。Cloudera Manager Server通过部署在不同设备上的Cloudera Manager Agent进行管理整体集群。Cloudera Manager Server需要部署在一台设备上。 Cloudera Manager Agent：部署在每个需要监控与管理的设备上。
CDH大数据平台
.
02-01 6680
FineBI是帆软软件有限公司推出的一款商业智能（Business Intelligence）产品，它可以通过最终业务用户自主分析企业已有的信息化数据，帮助企业发现并解决存在的问题，协助企业及时调整策略做出更好的决策，增强企业的可持续竞争性。多维度分析：OLAP分析实现，提供各种分析挖掘功能和预警功能，例如任意维度切换，添加，多层钻取，排序，自定义分组，智能关联等等。即时分析：可以选择数据快速创建表格或者图表以使数据可视化、添加过滤条件筛选数据，即时排序，使数据分析更快捷。Canal的安装和使用。
CDH（Cloudera）与hadoop（Apache）对比
沉默的初学者
10-30 3172
需要认识的几个问题1.hadoop有几个版本？ 2.CDH有几种安装方式？ 3.CDH在安装认证方面做了什么改变？Cloudera的CDH和Apache的Hadoop的区别 目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including
大数据CDH_10_01
yangshaojun1992的博客
10-15 1334
CDH简介 1、Apache Hadoop 不足之处 　　• 版本管理混乱 　　• 部署过程繁琐、升级过程复杂 　　• 兼容性差 　　• 安全性低 2、Hadoop 发行版 　　• Apache Hadoop (原生版) 　　• Cloudera’s Distribution Including Apache Hadoop（CDH）国内用的比较多。 　　• Hortonworks Data...
大数据平台CDH的介绍和5.16/6.3版本的搭建
大宇进阶之路的博客
05-12 1万+
CDH介绍 Hadoop主流三大发行版本： 1. Apache hadoop 官方社区开源版本 2. CDH Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 3. HDP 现在cdh已经将hdp收购。Cdh公司在2...
大数据之CDH数仓(8) | 数仓之用户行为数仓搭建
Knight
10-09 1190
用户行为日志生成 1）将log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar上传到hadoop102的/opt/module目录 2）分发log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar到hadoop103 [root@hadoop102 module]# xsync log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar 3）在/root/bin目
大数据项目-七 搭建CDH
weixin_43446246的博客
05-10 555
一：为什么CDH？ 二：CDH是什么？ 三：CDH怎么操作？ 1. 按照步骤 设置打开最大文件数。 - [root@123 ~]# vim /etc/security/limits.conf * soft nofile 32728 * hard nofile 1024999 * soft nproc 65535 * hard nproc unlimited * soft memlock unlimited * hard memlock unlimited 设置swap空间
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值