Centos7.5+CDH 6.2搭建大数据平台

最新推荐文章于 2022-07-25 14:28:04 发布
最新推荐文章于 2022-07-25 14:28:04 发布
阅读量1.7k 收藏 7
点赞数 2
分类专栏： 大数据 文章标签： hadoop cloudera 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42761569/article/details/103592277
版权

Centos7.5+CDH 6.2搭建大数据平台

1.CDH介绍

目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。

  • Apache Hadoop：社区人员比较多，更新频率比较快，但是稳定性比较差，安装配置繁琐，实际使用者少。
  • Cloudera Hadoop（CDH）：Cloudera公司的发行版本，基于Apache Hadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、提供界面统一管理程序。

2.Cloudera Manager 介绍

Cloudera Manager 是用于管理cdh集群的端到端应用程序，统一管理和安装。CDH除了可以通过cm安装也可以通过yum,tar,rpm安装。主要由如下几部分组成：

  • 服务端/Server：
    Cloudera Manager 的核心。主要用于管理 web server 和应用逻辑。它用于安装软件，配置，开始和停止服务，以及管理服务运行的集群。

  • 代理/agent：
    安装在每台主机上。它负责启动和停止进程，部署配置，触发安装和监控主机。

  • 数据库/Database：
    存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如，所述的 Cloudera 管理器服务和监视，后台程序使用不同的逻辑数据库。
    Cloudera Repository：由cloudera manager 提供的软件分发库。

  • 客户端/Clients：
    提供了一个与 Server 交互的接口。

3.环境准备

3.1.节点准备（四个节点）

主机名IPCM管理软件
nn01192.168.18.110Cloudera Manager Server&Agent ，MySQL
dn01192.168.18.111Cloudera Manager Agent
dn02192.168.18.112Cloudera Manager Agent
dn03192.168.18.113Cloudera Manager Agent

3.2.配置主机名和hosts解析(所有节点)

编辑/etc/hostname，修改主机名，并使用命令hostname使其立刻生效。编辑文件/etc/hosts，增加如下内容。

192.168.18.110 nn01.yunlu.cn nn01
192.168.18.111 dn01.yunlu.cn dn01
192.168.18.112 dn02.yunlu.cn dn02
192.168.18.113 dn03.yunlu.cn dn03

3.3.关闭防火墙

# systemctl stop firewalld.service && systemctl disable firewalld.service

3.4.关闭SELinux

# sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
# setenforce 0

3.5.配置时间同步

chrony既可作时间服务器服务端，也可作客户端。chrony性能比ntp要好很多，且chrony配置简单、管理方便。 但是此次我们采用定时任务同步网络时间的方法。

  • 添加定时任务
# echo "$((RANDOM%60)) $((RANDOM%24)) * * * /usr/sbin/ntpdate time1.aliyun.com" >> /var/spool/cron/root

3.6.禁用透明大页面压缩，CDH配置需要

# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo never > /sys/kernel/mm/transparent_hugepage/enabled
  • 并将上面的两条命令写入开机自启动/etc/rc.local
tee -a /etc/rc.local <<-'EOF'
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
EOF

3.7.优化交换分区

# echo "vm.swappiness = 10" >> /etc/sysctl.conf
# sysctl -p

3.8.配置SSH免密登录

  • 所有节点执行如下命令（四次回车）：
# ssh-keygen -t rsa
  • 用拷贝的方法分发秘钥，所有节点执行如下命令：
# ssh-copy-id [nn01,dn01-dn03]

总共四次拷贝，每次拷贝按提示输入yes和相应节点的密码。

4.安装 CM 和 CDH

4.1.配置 Cloudera Manager 仓库(所有节点)

# wget https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/
# rpm --import https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera

使用在线安装会比较慢，建议先把需要的rpm下载下来，进行离线安装或者建私有仓库，涉及下面三个软件包：

cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm    
cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

4.2.配置 JDK (所有节点)

# rpm -ivh jdk-8u202-linux-x64.rpm

4.3.安装 CM Server 和 Agent

建议离线安装，把rpm包下载到服务器上面，传到其他节点一份，再本地安装，速度会快很多。

  • nn01:
# yum localinstall cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm -y
# yum localinstall cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm -y
# yum localinstall cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm -y
  • dn[01-03]:
# yum localinstall cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm -y
# yum localinstall cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm -y

4.4.安装MySQL数据库（在nn01节点）

此次安装 mysql 是按照官网教程安装的，链接地址:
https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_mysql.html#cmig_topic_5_5

# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
# rpm -ivh mysql-community-release-el7-5.noarch.rpm
# yum install mysql-server -y
# systemctl start mysqld
  • 查看状态
    在这里插入图片描述
  • 可选步骤。根据官方推荐的配置，编辑文件/etc/my.cnf，修改成如下内容：
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0
 
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
 
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
 
#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
 
#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1
 
binlog_format = mixed
 
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
 
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
 
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
 
sql_mode=STRICT_ALL_TABLES

以上配置的含义，请参考本节开头的文档。

  • 设置MySQL的登录密码，按照相关提示操作即可
# /usr/bin/mysql_secure_installation
  • 将mysql 加到 开机启动中
# systemctl enable mysqld

4.5.安装 MySQL JDBC 驱动(所有节点)

用于各节点连接数据库。

# wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
# tar xf mysql-connector-java-5.1.46.tar.gz
# mkdir -p /usr/share/java/
# cd mysql-connector-java-5.1.46
# cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

4.6.为 Cloudera 各软件创建数据库（在nn01节点）

ServiceDatabaseUser
Cloudera Manager Serverscmscm
Activity Monitoramonamon
Reports Managerrmanrman
Sentry Serversentrysentry
Cloudera Navigator Audit Servernavnav
Cloudera Navigator Metadata Servernavmsnavms
Hive Metastore Serverhivehive
Huehuehue
Oozieoozieoozie
  • 将如下内容，写入到cdh.sql文件中
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
  • 执行sql文件
# mysql -uroot -p<ROOT_PASSWORD> < ./cdh.sql

在这里插入图片描述

4.7.设置 Cloudera Manager 数据库

# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

接着，输入scm数据库密码

4.8.安装 CDH（在nn01节点）

CM安装成功之后，接下来我们就可以通过CM安装CDH的方式构建企业大数据平台。所以首先需要把CDH的parcels包下载到CM主服务器上。同样的，我们为了加速我们的安装，我们可以把需要下载的软件包提前下载下来，也可以创建CDH私有仓库。

  • 下载CDH的软件包 parcels
# cd /opt/cloudera/parcel-repo
# wget https://archive.cloudera.com/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
# wget https://archive.cloudera.com/cdh6/6.2.0/parcels/manifest.json
  • 生成sha文件
# sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk '{ print $1 }' > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha
  • 修改属主属组
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

4.9.启动 Cloudera Manager Server（在nn01节点）

# systemctl start cloudera-scm-server

如果启动中有什么问题，可以查看日志。

# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

在最后显示的日志中，有显示启动监听的端口。

Started ServerConnector@da518cb{SSL,[ssl, http/1.1]}{0.0.0.0:7183}
Started ServerConnector@a77165b{HTTP/1.1,[http/1.1]}{0.0.0.0:7180}

5.初始化 Cloudera Manager

稍等下，浏览器打开http://nn01:7180，用户名和密码默认都是admin。
在这里插入图片描述

  • 然后按需，继续下一步操作即可。

5.1.CDH集群安装

  • 按照提示操作即可，一般选默认就行。

5.2.集群设置

  • 数据库设置
    在这里插入图片描述
  • 其它按照提示操作即可，一般选默认就行。

6.参考资料

WaiSaa
关注
专栏目录
Centos7 安装 CDH 6.2 （一）：机器准备
qq_45092794的博客
05-26 1986
文章目录1. 机器规划2. 修改hostname3. 关闭防火墙4. 安装 ELRepo、 EPEL 仓库5. 更新并安装常用依赖６. 替换YUM源为阿里源7. 修改虚拟内存交换页大小8. 设置固定IP9. 设置免密登录10. 设置hosts11. kernel优化12. 关闭 selinux13.同步时间14. 安装Python 2.7 、jdk1.8 1. 机器规划 系统为Centos7.6，...
Centos7.6自动化安装CDH6.2.0脚本.docx
08-06
该脚本可以安装多台服务器，根据需要配置hostname文件。
centos7安装CDH5.X.X
08-28
centos7安装CDH5.X.X
centos7.5搭建cdh5.13.0+mysql5.7或postgres
LXYuuuuu的博客
02-01 520
序言 本文集群搭建为三台机器，cdh版本为5.13.0，以下是安装过程中所用到的软件包等，可以自行下载。 一、前期准备 1.安装环境 系统：centos7.5/最小安装版本/64位 内存：主节点 --&amp;amp;amp;gt; 32G/从节点 --&amp;amp;amp;gt; 16G 三台机器组成小集群（物理机） cdh01 cdh02 cdh03 需要下载的安装包 cloudera-manager-centos...
在centos7上搭建hadoop大数据平台
船长灬普朗克的博客
07-25 1360
hadoop框架搭建整理
Centos7中用Ambari快速搭建大数据平台攻略（一）
程序猿废柴的博客
06-14 4687
背景：       因为业务要求，需要在三台物理服务器上搭建大数据平台。经过多方查找资料，最终搭建成功。       鉴于   1）搭建过程中，出现很多小问题，解决起来花费大量的精力和时间                2）解决问题查找资料时候，多数资料都比较老了，并且不够系统                3）在物理服务器上搭建的资料较少，有必要进行补充                ...
CentOS7.5+Oracle 19c+RAC.pdf
09-27
【CentOS7.5+Oracle 19c+RAC】是关于在虚拟化平台VMware上部署Linux操作系统，特别是CentOS 7.5，并在此基础上安装和配置Oracle 19c数据库集群（RAC）的教程。这个教程旨在帮助读者深入理解Linux环境下的系统管理和...
CentOS7.5+Oracle 12c+RAC.pdf
09-27
熟练掌握在VMware下安装CentOS环境 熟练掌握在Linux环境下安装GRID软件 熟练掌握在Linux环境下安装Oracle12c RAC数据库 熟练掌握Linux环境下对Oracle数据库的运维操作
"Centos7安装CDH 6.2：Cloudera大数据集成环境搭建详解
本文档是针对Centos7操作系统的CDH 6.2安装过程进行的整理，经过多次验证，可以保证按照文档上的步骤严格操作后，绝对会安装成功。 CDH简介 CDH（Cloudera's Distribution Including Apache Hadoop）是Cloudera公司...
ESXi 6.5+CentOS 7.5：大数据平台一站式搭建教程
本文档详细介绍了如何在CentOS 7.5环境下搭建一个分布式平台，包括使用ESXi 6.5创建和管理虚拟机、安装关键组件如Kubernetes 1.13、Docker 18.09.5、JDK 1.8_131、SSH 7.4、etcd 3.3.10、Flannel 0.10.0、TOMCAT 8、...
RedHat6.7-CDH-5.11.0离线安装步骤及问题解决
12-05
本文实现了基于Redhat Enterprise Linux6.7系统离线安装Cloudera manager5.11.0和CDH5.11.0。概括了主要步骤，解决了主要问题。但仍需要有linux基础知识才能成功安装。如果遇到其他问题，请查找本人博客。
Centos7中用Ambari快速搭建大数据平台攻略（二）
程序猿废柴的博客
07-16 2446
目录 一、搭建数据库 二、制作本地源 (在ambari01.hadoop部署) 三、安装Ambari (在ambari01.hadoop部署)     在进行上述准备工作后，我们继续我们的部署工作。前方准备工作参见传送门：Centos7中用Ambari快速搭建大数据平台攻略（一） 一、搭建数据库 Ambari安装会将安装等信息写入数据库，建议使用自己安装的Mysql数据库，也可以不...
大数据平台搭建（1）虚拟机+Centos-7安装
qq_16546829的博客
03-26 1751
在2017-2018寒假自己尝试了在家里的老电脑上安装Ubuntu16.04+Hadoop3.0，遇到的问题特别多 而且只能搭建单机，集群没法搭起来，一直不认同虚拟机搭建的，这学期大数据课程 ，千峰的老师给我们上课，讲述了虚拟机搭建集群测试的好处，并且使用了Centos-7+hadoop-2.6.4+jdk1.87 +VMware12.1.1，这是老师在最近一年教授的搭配，实践总结比较实用bug少...
CentOS6.5搭建Ambari大数据开发平台教程
修炼之路
02-16 369
文章目录基本准备工作安装MariaDB安装Ambari 基本准备工作 （）在Windows下安装JDK1.8(我安装的是1.8.0_181) ②配置JDK1.8环境变量 安装MariaDB 安装Ambari
【大数据】CentOs7.5搭建hadoop开发集群环境（一）
Little柯南的博客
02-05 524
【大数据】CentOs7.5搭建hadoop开发集群环境（一）一、首先安装CentOs7.5虚拟机系统（由于本节篇幅较长，详见百度，不再啰嗦）二、配置静态IP等三、关闭防火墙，SELinux四、添加主机名与ip映射关系五、修改主机名六、添加ssh互信七、复制子节点 一、首先安装CentOs7.5虚拟机系统（由于本节篇幅较长，详见百度，不再啰嗦） 这里建议VMWare下安装时，网络设置为NAT模式...
CentOS 7大数据平台之：ambari部署
fdsjzs1的博客
09-19 202
为什么放弃UBUNTU转到centos 如前人经验所说，ubuntu的系统确实不太稳定，在我的开发过程中，手上的三个ubuntu虚拟机运行过程中有时候常会弹出错误弹窗，但是要汇报错误之类的， 并且有时候start-all.sh之后并不是所有的node都能起来，常常出现要运行两次namenode才起来，或者是namenode运行一半就自动消失了的情况，看log的话网上的解决思路和我的问题背景不太一样...
基于 CentOS 7 构建完全分布式大数据平台
我只做自己
03-17 882
文章目录1. 环境2. 网络3. 目标4. 安装包列表5. 准备工作5.1 传输安装包5.2 配置 yum 源5.3 安装 GCC GCC-C++5.4 yum 加速5.5 主机名 与 IP 映射6. 安装6.1 解压安装包6.2 安装 MySQL6.2.1 配置 MySQL6.2.2 MySQL 开启远程连接6.3 配置 Hadoop6.4 配置环境变量6.5 免密码登录6.6 节点之间同步文...
CDH 搭建（Centos 6.X）
Z.Virgil的博客
08-29 912
目录 官方文档 安装JDK 安装Cloudera-Manager 安装Cloudera-agent 安装数据库 安装数据库驱动 配置db.properties文件 通过CDH 安装组件 官方文档 安装JDK yum install java-1.8.0-openjdk-devel 安装Cloudera-Manager yum 安装Cloudera-Manager y...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WaiSaa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值