Centos7.3安装CDH6.0.1

最新推荐文章于 2022-08-15 16:29:53 发布
最新推荐文章于 2022-08-15 16:29:53 发布
阅读量950 收藏 3
点赞数 1
文章标签： CDH
原

Centos7.3安装CDH6.0.1

2019年06月27日 15:38:47 阅读数 97 标签： cdh cdh6.0.1 cdh安装 更多
个人分类： Hadoop CDH

版本

类型版本下载
LinuxCentos7.3 
CDHCDH6.0.1CM官方下载   CDH官方下载
JDKjdk-8u211网盘下载
数据库MySQL5.7.27官方下载
JDBCmysql-connector-java-5.1.47Maven下载

                                  部分软件网盘

                                  官方安装文档


服务器信息

IPHostnameCPU内存硬盘
192.168.100.45cdh-master4864G16T
192.168.100.46cdh-slave014864G16T
192.168.100.47cdh-slave024864G16T

 

前置环境配置：

Centos7.3安装CDH6.0.1之基础环境配置

 

CDH6.0.1默认组件版本

 

1. 安装Cloudera Manager

yum在线安装速度太慢，不推荐,当然也可以采用本地yum源的方式安装快点。

这里直接采用离线rpm。

1. 下载rpm文件


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm

三个都上传都到cdh-master 

从节点cdh-slave01、cdh-slave02上传daemons和agent

2. 安装

cdh-master：（按顺序全部安装）


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     rpm -ivh cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm

cdh-slaves:（只安装daemons 和agent）


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm

CM安装出现问题，参照：Centos7.3安装CDH6.0.1之CM安装问题

3. 修改服务器地址（所有节点）


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     vim /etc/cloudera-scm-agent/config.ini
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     server_host=cdh-master
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     server_port=7182

4. 启动agent（所有节点）


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     sudo systemctl start cloudera-scm-agent
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     sudo systemctl status cloudera-scm-agent
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     tail -F /var/
     
     log/cloudera-scm-agent/cloudera-scm-agent.log

5. 设置CM数据库

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

7. 启动


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     sudo systemctl start cloudera-scm-server
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     可以查看启动情况：
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     tail -f /var/
     
     log/cloudera-scm-server/cloudera-scm-server.log
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     sudo systemctl status cloudera-scm-server

显示以下信息说明启动完成：

INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server. 

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     查看agent日志
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     tail -f /var/
     
     log/cloudera-scm-agent/cloudera-scm-agent.log

8. 登录WEB

web：http://192.168.100.41:7180

账号密码：admin

显示如下界面，CM安装完成。

 

2.安装CDH

1. 关闭服务


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     systemctl stop cloudera-scm-server
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     systemctl stop cloudera-scm-agent

2.下载


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     manifest.json

3. 上传

上传到 /opt/cloudera/parcel-repo/，没有则手动创建，修改.sha256文件后缀为.sha

echo "2e650f1f1ea020a3efc98a231b85c2df1a50b030" > CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha

4. 修改用户和组

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

5. 安装

启动服务，登录CM，http://192.168.100.45:7180，进入初始化界面。

 

Psycopg2版本太低问题：至少2.5.4以上。


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     安装依赖
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     yum install postgresql-devel postgresql-libs python-devel gcc
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     下载psycopg2,几百K,可以直接下载
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     wget http://initd.org/psycopg/tarballs/PSYCOPG-2-7/psycopg2-2.7.7.tar.gz
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     解压
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     tar -zxvf psycopg2-2.7.7.tar.gz -C /opt/apps/
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     cd /opt/apps/psycopg2-2.7.7
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     安装
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     python setup.py build
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     python setup.py install

更新配置以后的界面。

 

 

内存被调拨过度问题

Memory Overcommit Validation Threshold

主机 cdh-slave02 上的内存被调拨过度。总内存分配额是 57.5 GiB 个字节，但是 RAM 只有 62.8 GiB 个字节（其中的 12.6 GiB 个字节是保留给系统使用的）。如需获得分配详细信息，请访问“主机”页面上的“资源”选项卡。重新配置主机上的角色以降低总内存分配额。请注意：Java 最大堆大小乘以 1.3 等于近似的 JVM 开销。

其实就是在节点上组件设置的内存超过了可用内存。默认总内存的0.8可用，0.2分配给Linux系统，这个参数可调。64G内存可以用51.2左右。

进入 主机 -> 选择节点 -> 资源 -> 内存 可用查看内存分配，在配置里搜索memory相关的调整即可。

 

HDFS和YARN优化：大数据组件部分优化

qq_40308028
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Centos7.3离线安装CDH-5.15.2
kennan520的博客
03-27 301
一、概述 CDH是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，全称Cloudera’s Distribution, including Apache Hadoop。 CDH提供了Hadoop的核心可扩展存储（HDFS）和分布式计算（MR），还提供了WEB页面进行管理、监控。 二、部署环境 ip地址 主机名 系统 192...
Cloudera Hadoop 5&Hadoop高阶管理及调优课程
06-06
Cloudera Hadoop 5&Hadoop高阶管理及调优课程，完整版，提供课件代码资料下载。 内容简介 本教程针对有一定Hadoop基础的学员，深入讲解如下方面的内容： 1、Hadoop2.0高阶运维，包括Hadoop节点增加删除、HDFS和YARN的HA实现， HDFS Federation实现等 2、搭建本地Yum部署CDH5的重要组件和优化配置 3、Impala、Oozie和Hue的部署、使用操作及调优 4、Hadoop安全认证及授权管理 5、Hadoop各组件性能调优
CDH6.0.0详细安装教程及所遇到的问题
weixin_34378767的博客
09-12 2707
关于CDH和Cloudera ManagerCDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相...
CDH安装过程中出现：主机 cdh04 上的内存被调拨过度。总内存分配额是 4.0 艾字节 个字节，但是 RAM 只有 62.8 吉字节 个字节（其中的 12.6 吉字节 个字节是保留给系统使用的）。
m0_48830183的博客
08-15 1291
CDH安装出现的问题
CDH6安装教程(亲自测试越坑版)
IT- 研究者
09-12 5166
一、Hadoop大数据平台 1、Hadoop 发行版 (1) 完全开源的原生的Apache Hadoop (2) Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks合并后，Cloudera公司推出了新一代的数据平台产品CDP Data Center（以下简称为CDP） (3) MapR公司的MapR(已经被HPE收购) (4) AWS亚马逊的EMR (5) 国内华为的fusioninsight (
centos7.3 安装mysql5.7.18的详细教程
09-09
在本教程中，我们将详细介绍如何在CentOS 7.3操作系统上安装MySQL 5.7.18。这个过程分为几个关键步骤，包括确认Linux发行版本、下载MySQL Yum Repository和安装MySQL服务。 首先，我们需要确认当前Linux系统的发行...
CentOS 7.3安装手册.doc
01-08
"CentOS 7.3安装手册" 本文档为 CentOS 7.3 安装手册，旨在指导用户安装 CentOS 7.3 操作系统。下面是从本文档中提炼出的相关知识点： 1. 磁盘分区 磁盘分区是安装操作系统的必要步骤。在 CentOS 7.3 安装过程中...
centOS7.3安装文档
02-11
CentOS 7.3 安装指南 在本文档中，我们将指导您如何使用 VMware 安装 CentOS 7.3 操作系统。我们的安装过程分为几个步骤，包括创建新的虚拟机、设置虚拟机名称、设置磁盘大小、设置网络配置、设置分区方案、选择...
CentOS7.3安装视频
02-15
vSphere5.5 虚机上安装CentOS7.3的视频录像,需要用浏览器会或gif播放器观看
图解VMWare安装Centos 7.3教程
09-15
在本教程中，我们将详细讲解如何使用VMware Workstations安装CentOS 7.3的步骤。VMware Workstations是一款强大的虚拟机软件，它允许你在一台计算机上运行多个操作系统，为开发、测试和学习提供了极大的便利。 1. *...
CDH6.0.1集群完全离线安装
tt_cxy的博客
03-28 3778
来自 张秋雨 的 cdh6.0.1部署文档
CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解
weixin_33704591的博客
11-24 607
一、概念介绍 1、CDH 概览 CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 CDH 提供以下特性： 灵活性：存储任何类型的数据并使用...
大数据基础学习笔记（安装CDH的环境配置）-CDH-5.15
小马哥的博客
12-29 696
1.下载软件地址(（以centos7.4）) CDH安装包地址： http://archive.cloudera.com/cdh5/parcels/5.14.0/ CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 manifest.json Cloudera Manager下载...
CentOS 7.X 安装 CDH 6.0
jaysen1005的博客
02-28 2734
请务必注意CDH6的安装前置条件包括如下： 外部数据库支持： MySQL 5.7或更高 MariaDB 5.5或更高 PostgreSQL 8.4或更高 Oracle 12c或更高 JDK Oracle JDK1.8，将不再支持JDK1.7 操作系统支持 RHEL 6.8或更高 RHEL 7.2或更高 SLES 12 SP2或更高 Ubuntu 16或更高 本次测试环境为 1....
CDH6.0.0安装
dyfand的博客
04-01 259
简介：关于CDH和Cloudera Manager CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和...
这演示的叫啥数学模型来着，似曾很熟
最新发布
07-25
这演示的叫啥数学模型来着，似曾很熟
CDH6.0.1安装教程详解：CentOS 7.6快速部署与步骤
本教程是一份详尽的CDH6.0.1安装教程，特别针对Centos 7.6环境进行了实测。安装过程中强调了确保所有参与机器具有root权限，以避免安装过程中可能遇到的权限问题。以下步骤将引导您完成整个安装流程： 1. 软件版本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值