cdh部署

最新推荐文章于 2024-06-12 18:02:46 发布
最新推荐文章于 2024-06-12 18:02:46 发布
阅读量182 收藏
点赞数
文章标签： java 运维 数据库
原文链接：https://my.oschina.net/attacker/blog/3045404
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

环境

主机名ip域名部署性能
cdh-110.0.1.120cdh1.ops.netmaster、agent8核32G
cdh-210.0.1.121cdh2.ops.netagent8核16G
cdh-310.0.1.122cdh3.ops.netagent8核16G
cdh-410.0.1.123cdh3.ops.netagent,sqoop8核16G

准备

下载包

http://archive.cloudera.com/cm5/cm/5/

cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz

http://archive.cloudera.com/cdh5/parcels/latest/


CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1

manifest.json

依赖包

yum install -y python-lxml  httpd mod_ssl

yum -y install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

rpm jdk包

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.1/RPMS/x86_64/

rpm -vih jdk-6u31-linux-amd64.rpm 
rpm -vih oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

挂载nfs

mkdir /opt/nfs
mount -t nfs 10.0.1.19:/opt/software /opt/nfs

hosts文件

10.0.1.120 cdh1.ops.net
10.0.1.121 cdh2.ops.net
10.0.1.122 cdh3.ops.net
10.0.1.123 cdh4.ops.net

推送ssh key

## 生成
mkdir /opt/nfs/software/hadoop/key -p
cd  /opt/nfs/software/hadoop/key && ssh-keygen -t rsa -P '' -f hadoop #生成key

## 所有主机的操作
mkdir /root/.ssh
cp /opt/nfs/software/hadoop/key/hadoop.pub /root/.ssh/authorized_keys
chmod 600 /root/.ssh/authorized_keys
cp /opt/nfs/software/hadoop/key/hadoop /root/.ssh/id_rsa

master1 ntp(确保时间一致性)

which ntpd|xargs rpm -qf ||yum install ntp -y

ntp配置文件

restrict 0.0.0.0 mask 0.0.0.0 nomodify notrap noquery
restrict 127.0.0.1
restrict default nomodify notrap

server ntp1.aliyun.com iburst
server ntp2.aliyun.com iburst
# 阿里云ntp
server 127.127.1.0
fudge 127.127.1.0 stratum 10
# 定义的server都不可用时，将使用local时间作为ntp服务提供给ntp客户端

includefile /etc/ntp/crypto/pw
driftfile /var/lib/ntp/drift
keys /etc/ntp/keys

启用服务

systemctl enable ntpd && systemctl start ntpd

测试命令

ntpstat

synchronised to NTP server (120.25.115.20) at stratum 3 time correct to within 27 ms polling server every 64 s

其他主机同步时间

grep 'cdh-1' /var/spool/cron/root &>/dev/null ||echo '*/5 * * * * ntpdate cdh-1'  > /var/spool/cron/root

禁用Transparent Hugepage

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

cat /sys/kernel/mm/transparent_hugepage/enabled #查看状态

调整vm.swappiness Linux内核参数

grep vm.swappiness /etc/sysctl.conf || echo "vm.swappiness = 1" >> /etc/sysctl.conf
sysctl -p

安装mysql

master1 节点安装mysql

安装jdk

java -version

java version "1.8.0_102"

Java(TM) SE Runtime Environment (build 1.8.0_102-b14)

Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

安装MySQL JDBC驱动程序


wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

tar zxvf mysql-connector-java-5.1.46.tar.gz

mkdir -p /usr/share/java/

cd mysql-connector-java-5.1.46

cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

#http://download.softagency.net/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.42.tar.gz

#JDBC目前已经有6.x，但与CDH 5.x存在不兼容

Cloudera Manager 安装与集群配置

所有节点

版本cm-5.15.1

useradd --home=/opt/cm-5.15.1/run/cloudera-scm-server/ --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
tar zxvf cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz -C /opt/
chown -R cloudera-scm:cloudera-scm /opt/cloudera
chown -R cloudera-scm:cloudera-scm /opt/cm-5.15.1

ln -s /opt/cm-5.15.1/ /opt/cm
mkdir  /opt/cm-5.15.1/run/cloudera-scm-agent

vi /opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini

server_host=cdh-1
# 主节点

cdh-1主节点

tar zxvf mysql-connector-java-5.1.42.tar.gz
cp mysql-connector-java-5.1.42/mysql-connector-java-5.1.42-bin.jar /opt/cm-5.15.1/share/cmf/lib/mysql-connector-java.jar

cp  /opt/cm-5.15.1/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hive/lib
cp /opt/cm-5.15.1/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/oozie/lib
cp /opt/cm-5.15.1/share/cmf/lib/mysql-connector-java.jar /var/lib/oozie/
cp /opt/cm-5.15.1/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hive/lib/

cdh-1 数据库

测试连通

mysql -h10.0.1.120 -uroot -pblog.attacker.club

生成配置

/opt/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql -hcdh-1 -uroot -pblog.attacker.club --scm-host cdh-1 scm root blog.attacker.club

提示下面这个说明成功

All done, your SCM database is configured correctly!

查看配置

cat  /opt/cm-5.15.1/etc/cloudera-scm-server/db.properties

创建CM用的数据库

--hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
--oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
--hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

安装CDH5

\cp CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel* /opt/cloudera/parcel-repo
cp manifest.json /opt/cloudera/parcel-repo
mv /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha

服务启动

ln -s /opt/cm-5.15.1/ /opt/cm
yum install psmisc 
# 启动报错 安装pstree
/opt/cm/etc/init.d/cloudera-scm-server restart
#服务端（主节点）
/opt/cm/etc/init.d/cloudera-scm-agent
#客户端 （所有节点）

WEB 登录

http://10.0.1.120:7180/cmf/login admin/admin

当前管理主机

选择cdh-1-4

新管理搜索主机

cdh-[1-4]

图1

图2

安装完成

sqoop部署

wget -c http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.15.1.tar.gz
tar zxvf sqoop-*.tar.gz -C /opt/
cp /usr/share/java/mysql-connector-java.jar /opt/sqoop-*/lib
ln -s /opt/sqoop-1.4.6-cdh5.15.1/ /opt/sqoop

vi /etc/profile

export SQOOP_HOME=/opt/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

vi $SQOOP_HOME/bin/configure-sqoop 注释掉HCatalog，Accumulo检查(除非你准备使用HCatalog，Accumulo等HADOOP上的组件)

## Moved to be a runtime check in sqoop.
#if [ ! -d "${HCAT_HOME}" ]; then
# echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
# echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
#fi

#if [ ! -d "${ACCUMULO_HOME}" ]; then
# echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."
# echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'
#fi

清理

mysql

drop database oozie;
drop database hive;
drop database hue;
drop database scm;

删除文件

rm -Rf /var/lib/flume-ng/ /var/lib/hadoop* /var/lib/navigator /var/lib/hue /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper /etc/hadoop/ /etc/hbase /etc/hive /dfs /var/lib/hive /usr/lib/hue /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
rm /opt/cm -rf #软连接
rm -rf /tmp/.scm_prepare_node.lock
rm /opt/cm-5.15.1/lib/cloudera-scm-agent/cm_guid -f
rm /opt/cm/lib/cloudera-scm-agent/cm_guid -f

HBASE 角色添加

java内存堆栈设置

转载于:https://my.oschina.net/attacker/blog/3045404

weixin_34259159
关注
CDH部署流程
09-25
cdh，hbase,安装部署流程 安装文档，部署流程
CDH大数据平台入门篇之搭建与部署
予挚之的博客
03-06 5109
CDH：存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件、高安全性且能够部署多种应用，并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。
CDH平台部署规划方案
邢为栋
09-04 3407
此方案包含部分实施要点，作为部署实施参考。主要针对RHEL/Centos7.x系统，其他系统可能会有不同。 主机配置章节包含了部分针对Hadoop的操作系统优化。 服务 版本 操作系统 CentOS 7 Cloudera Manager 6.3.1 CDH 6.3.2 前言 如果要启用FreeIPA，最好先安装ipa-server。当然在部署好集群后安装也可以。 Cloudera Manager Server节点需要安装IPA admin libraries，可以将ipa-ser
Accumulo环境搭建
QiaoDouTec的博客
10-25 1006
本文主要翻译及引用官方文档，地址:http://accumulo.apache.org/quickstart-1.x/ accumulo 依赖 hadoop及Zookeeper，请另行安装 1.下载安装包，选择Binary二进制文件，本文写作时最新稳定版是1.9.2 地址:http://accumulo.apache.org/downloads/ 2.解压，并进入 tar zxvf ac...
搭建部署CDH--亲测完成版
weixin_45389898的博客
03-18 2000
嘿嘿吹吹风~嘿嘿放放空~ 嘿嘿快跟紧我~ 扫兴的话你别说~
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 1690
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
CDH部署和配置.pdf
08-05
CDH部署和配置 CDH（Cloudera Distribution of Hadoop）是一款大数据解决方案，由Cloudera公司开发，提供了完整的Hadoop生态系统解决方案。CDH部署和配置是大数据项目中的一项重要步骤，本文将详细介绍CDH的部署和...
CDH HA部署
11-09
### CDH HA (High Availability) 部署详解 #### 一、概述 在大数据处理领域，Cloudera Distribution Including Apache Hadoop (CDH) 是一个广泛使用的平台，它不仅包含Hadoop的核心组件，还提供了丰富的附加服务。...
【CDH部署找不到parcel库的资源包】
06-02
首先，Parcel是CDH部署的核心组成部分，它是一种预打包的软件分发方式，可以简化集群中的软件安装和升级过程。Parcel文件通常包含CDH的各种组件，这些组件在Cloudera仓库中被下载到本地，并通过Cloudera Manager（CM...
【CDH部署】全网最简单CDH6.2.0环境部署
01-07
下载链接 官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/ ...主机规划 sparkproject1 manager 8G 50GB sparkproject2 agent 4G 50GB sparkproject3 agent 4G 50GB ...【Hadoop部署】Hadoop环境部署1
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )
热门推荐
wt334502157的博客
09-14 5万+
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 ) 第一章：CDH简介 CDH概念 ​ CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间
【大数据集群搭建-CDH-（5）CDH环境搭建】CDH版本进行大数据集群各组件环境部署-（5）CDH环境搭建
weixin_53543905的博客
02-22 1493
默认的方式下linux会把文件访问的时间atime做记录，文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间；如果提示ERROR JDBC Driver com.mysql.jdbc.Driver not found，需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。因为系统运行的时候要访问大量文件，如果能减少一些动作（比如减少时间戳的记录次数等）将会显著提高磁盘 IO 的效率、提升文件系统的性能。
CDH 部署教程
cr7258的博客
07-08 1904
CDH 介绍 CDH 全称 Cloudera’s Distribution Including Apache Hadoop，是 Cloudera 公司提供的一个 Apache Hadoop 发行版。CDH 将 Hadoop 与其他十几个关键的开源项目集成，并且加入了集群自动化安装、中心化管理、集群监控、报警等功能。通过 CDH 可以使集群的安装从几天的时间缩短为几个小时。 节点规划 Cloudera Manager Server 节点提供 WebUI 操作界面，管理 Cloudera Manager A
CDH 6.3.2安装部署（超详细）
2201_75470972的博客
05-23 3222
超级详细的cdh6.3.2安装部署教程
CDH 集群离线部署、大数据组件安装与扩容详细步骤(cdh-6.3.1)
一只小白
09-13 1189
CDH在实际集群部署中，需要先搭建cm-server服务，然后在各个节点部署cm-agent服务。难点全部在cm-server服务搭建阶段和cm-agent环境初始化。后面涉及到大数据组建的搭建全部是在CDH页面操作，大家可以多摸索摸索使用。
Sqoop 的安装及使用介绍
yuandeyirenxins的博客
11-08 304
Sqoop 的安装及使用 目录 1，Sqoop 简介 2，功能 3，解决的痛点 4，sqoop架构图 5，Sqoop的安装及出现的问题 5.1，相关资料 5.2，安装 5.3，配置环境变量： 5.4，sqoop配置： 5.5，相关数据库驱动包上传 5.6，测...
超详细版企业离线部署CDH6.10集群与配置使用
涤生大数据
06-11 7164
进入大数据行业数载，也从一个开发小白走到了今天，期间也历经过一摸番着石头过河的探索，到如今的胸有点墨；玩过demo,使用过负责过上千节点的大数据集群开发与使用；被人面虐过，也面挂过很多人；如今，想趁着自己心中有火，眼里有光的年纪，把自己的一点心得与经验分享大数据行业的爱好者。也希望有助于后面的童鞋少走弯路，也欢迎大家私信交流。持续每周更新。 死磕大数据系列 1.死磕大数据系列将从企业上千节点集群的搭建（包括cdh集群，以及升级后apache hadoop3集群），性能优化，牵扯到的组件包括...
【大数据集群搭建-CDH-（4）CDH部署前的环境准备】CDH版本进行大数据集群各组件环境部署-（4）CDH部署前的环境准备
weixin_53543905的博客
02-22 1878
（2）另一方面在特殊场景下方便运维童鞋进行降级处理，比如类似于淘宝双十一这类大促活动，某个核心业务预期会有很大的流量涌入，为了保证核心业务的平稳，在资源共享的情况下只能牺牲其他非核心业务，在和非核心业务方充分交流沟通的基础上限制这些业务的资源使用，在流量极限的时候甚至可以直接停掉这些非核心业务。除此之外，还要考虑数据的不断增长，根据历史数据推算，每年用户量增长1倍，明年一年（或未来三年，根据公司财力来进行规划）内数据将达到3000G，加上1500G历史数据，共需存储4500G。
CDH部署 hadoop
08-17
6. 验证部署：通过访问Cloudera管理界面或运行一些Hadoop命令，您可以验证CDH部署的正确性。确保各个服务正常运行并且可以访问到数据。 以上是一个大致的CDH部署过程，具体操作可能会根据您的环境和需求有所不同。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值