CDH集群安装&测试总结

最新推荐文章于 2020-12-29 11:52:17 发布
最新推荐文章于 2020-12-29 11:52:17 发布
阅读量529 收藏
点赞数
文章标签： 数据库 大数据 运维
原文链接：https://yq.aliyun.com/articles/257153
版权

0.绪论

之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的：

这里写图片描述

当我搭建的过程中，发现这些东西是这样的：

这里写图片描述

对于初学者来说，我认为缺点如下：

  • 1.需要控制，配置的东西太多，并且配置对应并不是很清晰（以后优化集群是否会有很高含金量？）
  • 2.整个集群，我觉的从硬件到软件整体来说还是稳定性有待提高，尤其CDH 集群这块一会这个主机失去联系，一会NameNode挂，一会monitor挂，整个使用过程就是在不断的挂，看日志，挑错。基本离自动化，智能化还有很大距离。

CDH集群测试主要包括以下几个方面的内容：

1.装机（pxe），搭建服务器集群基础环境
2.安装CDH集群，调试集群的健康状况，使集群可用
3.测试集群性能，优化集群，使用测试框架（如Intel的HiBench框架）测试集群性能

1.基础建设简称基建

上一篇文章，我们已经介绍了集群安装操作系统的大杀器：

pxe无人值守安装linux机器笔记

在批量安装完毕系统之后，本节主要围绕搭建CDH集群的基础建设进行介绍，基础建设简称基建，主要是为了支撑CDH集群后序工作流畅进行的一系列Linux系统的设置工作，基础建设工作没有做好，后面安装使用集群过程中会出现很多莫名奇妙的错误。基建主要包括，免密登录，时间同步，格式化硬盘，挂载目录等一些设置，下面为大家分别介绍：

1.1 建立主机分发脚本

新建一个host文件里面逐行设置为主机ip
eg.

192.168.1.1
192.168.1.2
192.168.1.3

新建一个自定义脚本文件：

#!/bin/sh
host= `cat host`
for i in $host
do
echo $i
#将需要分发的命令复制在此处
Done

1.2 免密码登陆

配置免密码登录
1. 执行ssh-keygen命令，点击两次“回车”，生成/root/.ssh/id_rsa.pub文件；(使用脚本分发下面两条命令)
2. cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
3. scp -r /root/.ssh $hostname:/root/

1.3 配置主机基础环境

  • 修改默认语言为英文

    vi /etc/sysconfig/i18n
    LANG=”en_US.UTF-8”

  • 修改host文件

    scp /etc/hosts root@$i:/etc

  • 关闭防火墙以及SELinux

    ssh $i ‘service iptables stop’
    ssh $i ‘chkconfig iptables off’
    ssh $i ‘service ip6tables stop’
    ssh $i ‘chkconfig ip6tables off’
    ssh $i ‘setenforce 0’
    ssh $i ‘echo ‘service iptables stop’ >> /etc/rc.local’
    ssh $i ‘echo ‘service ip6tables stop’ >> /etc/rc.local’
    ssh $i ‘sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g’ /etc/selinux/config’

  • 同步时间 启动ntp服务，每5分钟向服务器同步一次（还需修改时间服务器上的部分配置，具体请百度）

    ssh $i ‘cat >>/var/spool/cron/root << EOF
    */5 * * * * /usr/sbin/ntpdate serverIP> /dev/null 2>&1
    EOF’
    ssh $i ‘echo ‘SYNC_HWCLOCK=yes’ >> /etc/sysconfig/ntpd’
    ssh $i ‘hwclock -w’

  • 修改用户句柄限制

    ssh $i ‘cat >> /etc/security/limits.conf << EOF
    hadoop soft nofile 65000
    hadoop hard nofile 65000
    hadoop soft nproc 401408
    hadoop hard nproc 401408
    * soft nofile 65000
    * hard nofile 65000
    * soft nproc 401408
    * hard nproc 401408
    EOF’

  • 建立挂载目录(根据自己的硬盘个数)

    ssh $i ‘mkdir /data01 /data02 /data03 /data04 /data05 /data06 /data07 /data08 /data09 ‘

  • 格式化硬盘（需批量执行，此处脚本有待升级）

    ssh $i
    ‘yes|parted /dev/sdb mklabel gpt
    parted /dev/sdb mkpart primary 0% 100%
    mkfs.ext4 -T largefile /dev/sdb1

  • 修改/etc/fstab文件

    ssh $i ‘cat >> /etc/fstab << EOF
    /dev/sdb1 /data01 ext4 defaults,noatime 0 0

  • 挂载目录

    ssh $i
    ‘mount /dev/sdb1 /data01

  • 关闭swap交换分区

    ssh $i ‘swapoff -a’
    ssh $i ‘sysctl -w vm.swappiness=0’
    ssh $i ‘echo ‘vm.swappiness=0’ >> /etc/sysctl.conf’

  • 关闭大内存页面

    ssh $i ‘cat >> /sys/kernel/mm/transparent_hugepage/defrag << EOF
    never
    EOF

    ssh $i ‘cat >> /etc/rc.local << EOF
    echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
    EOF

  • 卸载自带的java环境，可以根据自己的java版本卸载
    检查集群机器是否安装过openJDK,如果有安装过，请卸载，执行命令 ：

    rpm -qa | grep jdk
    rpm -e xxx #xxx为上一步输出的rpm包名

    ssh $i
    ‘rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
    rpm -e –nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
    rpm -e –nodeps java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64
    rpm -e –nodeps java-1.6.0-openjdk-javadoc-1.6.0.0-1.66.1.13.0.el6.x86_64’

  • 安装pscp和scala包

    ssh $i ‘rpm -i /root/rpms/pssh-2.3.1-5.el6.noarch.rpm /root/rpms/scala-2.10.4.rpm’

  • 配置java1.8.0_66环境

    scp -r /usr/java/jdk1.8.0_66 root@$i:/usr/java/
    ssh $i ‘rm -rf /usr/java/lastest’
    ssh $i ‘ln -s /usr/java/jdk1.8.0_66 /usr/java/lastest’

    ssh $i ‘cat >> /etc/profile << EOF
    JAVA_HOME=/usr/java/jdk1.8.0_66
    CLASS_PATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
    export JAVA_HOME
    PATH=\$HOME/bin:\$JAVA_HOME/bin:\$PATH
    export PATH
    export CLASS_PATH
    EOF’

    scp /etc/profile root@$i:/etc/
    ssh $i ‘source /etc/profile’

    done

  • 时间同步

    ssh $i ‘service ntpd stop
    ntpdate lcgm2
    ssh $i ‘hwclock -w’
    ssh $i ‘chkconfig ntpd on’
    done

  • 配置yum源，开启http服务
    Yum源先mount在var/www/html/下面，在
    /etc/yum.repos.d/rhel-source.repo文件修改内容

这里写图片描述

一些可能用到的命令：

建立多级目录: mkdir -p /x/xx
查看系统是否开启cloudera相关服务：chkconfig –list|grep cloudera
查看eth0网卡网络速度：ethtool eth0|grep -i speed

1.4 绑定网卡

决定集群性能很大因素是集群的网络性能呢，所以一般大数据集群都是多个网卡绑定的bond0模式，绑定shell如下
nmcli命令可能需要NetworkManager服务来支撑

 ifconfig
 systemctl stop firewalld.service 
 service iptables stop
 setenforce 0


 nmcli con add type bond con-name bond0 ifname bond0 mode 0
 nmcli con add type bond-slave con-name bondeno1 ifname eno1 master bond0
 nmcli con add type bond-slave con-name bondeno2 ifname eno2 master bond0
 nmcli con add type bond-slave con-name bondeno3 ifname eno3 master bond0
 nmcli con add type bond-slave con-name bondeno4 ifname eno4 master bond0

 cd /etc/sysconfig/network-scripts/
 vim ifcfg-bond0
    BOOTPROTO=static
    IPADDR=192.168.*.*
    PREFIX=24
    GATEWAY=192.168.*.*

 service network restart

 nmcli con reload

 nmcli con up bondeno4
 nmcli con up bondeno1
 nmcli con up bondeno2
 nmcli con up bondeno3
 nmcli con up bond0

2.安装配置Cloudera-Manager（离线）

在线安装方式由于需要安装的安装包过大，时间可能非常长，建议大家下载安装包进行离线安装。主要安装Cloudera Manager Server 和Agent。

2.1 离线仓库安装准备

在cloudrea下载离线仓库，下载地址
下载cm5：
https://archive.cloudera.com/cm5/repo-as-tarball/5.8.0/cm5.8.0-centos6.tar.gz
下载cdh5：
https://archive.cloudera.com/cdh5/parcels/5.8.0/
列表：
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
manifest.json
下载验证：https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.8.0/repodata/
下载安装脚本：
http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2.2 主节点解压安装

cloudera manager的目录默认位置在/opt下，解压：tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.*和cloudera目录放到/opt目录下(类似在windows把软件安装在D：/software)。

为Cloudera Manager 5建立数据库，可以用Mysql，或者自带的postgresql ，本文采用自带的数据库进行测试。

配置离线仓库地址：

  1. 开启apache服务：service httpd start
  2. 将下载的cloudera仓库移到/var/www/html目录下，调整目录结构：

这里写图片描述
cdh5目录结构：

这里写图片描述

cm5目录结构:

这里写图片描述

chmod u+x cloudera-manager-installer.bin，然后./*.bin该文件相关启动脚本，就可以进入安装界面进行安装啦。

service cloudera-scm-server start (这个启动有点慢，可以关注日志变动情况 )
service cloudera-scm-agent start

其中，日志所在路径是
/var/log/cloudera-scm-server/cloudera-scm-server.log
启动server后，使用:

/sbin/iptables -I INPUT -p tcp –dport 7180 -j ACCEPT ( 打开7180端口 )

2.3 配置集群

  • 1.根据CM引导界面，用户名admin ，密码admin。选择Cloudera Express 免费版。点击下一步到为CDH集群安装指定主机。
    这里写图片描述

这里写图片描述

  • 2.输入需要安装集群的机器IP地址，包括Cloudera Manager Server 机器。

  • 3.选择集群的安装方式，选择使用数据包，CDH版本选择自定义，并输入yum源地址（基建中已经配置了的）
    这里写图片描述

这里写图片描述
（上图链接地址https可能会出错）

升级过程中遇到的问题
提示Error Cannot retrieve repository metadata [repomod.xml] for cloudera-cdh5.Please verify its path and try again

(1) 检查机器的yum及cloudera的yum源配置是否正确
(2) 在Cloudera升级步骤(5)中填写的apache上cm5包地址是否正确，协议应该使用http而不是https，不然就会出现这种错误
(3) 若没有显示本地parcel包，可能是路径填写错误，可以根据配置的远程yum地址重新填写。

  • 4.集群安装状态，可以看到每台集群的安装状态，如果正常则进入下一步。

  • 5.选择要安装的CDH组件，我们选择安装HBase、HDFS、Hive、Spark、YARN、Zookeeper服务。点击继续（hibench测试主要需要这几个组件），角色服务分配参考如下：

这里写图片描述

  • 6. CM会检测安装环境，可能会提示一处安装警告，比如：
    cloudera 建议将/proc/sys/vm/swappiness设置为0，当前设置为60，
    则我们需要在集群每台机器上执行命令：

echo 0> /proc/sys/vm/swappiness

王道就是有错就看日志调试。
这里写图片描述

  • 7.选择集群机器的角色分配，对于默认的选择都可以选择在Master机器上，当然像Second NameNode可以选择在非NameNode机器上。注意Cloudera Management Service都选Master。

  • 8.数据库配置。根据创建数据表选择所对应的服务即可。

  • 9.集群设置。选择默认，集群开始安装，完成，访问集群serverIP:7180/cmf，ok。

2.4 集群基本优化

2.4.1 关闭Linux THG服务

检查集群中的各个主机的THG（对虚拟化等的内存资源分配是有好处的，但是对hadoop离线计算IO密集型操作是没有优势的，关闭THG可加快处理速度）

  • 1.查看THG

    cat /sys/kernel/mm/redhat_transparent_hugepage/defrag

  • 2.关闭THG

    echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

2.4.2 设置linux内核参数：vm.swappiness

vm.swappiness值的范围为0~100，作用是控制应用数据在物理内存和虚拟内存之间的交换，值越低，交换的越少。默认值为60。

查看集群各个主机的此参数值：

cat /proc/sys/vm/swappiness

建议调整值为1：

sysctl -w vm.swappiness=1

2.4.3 配置HDFS

点击HDFS -> 配置 -> 高级：hdfs-site.xml 的 HDFS 服务高级配置代码段（安全阀），加入配置使用公平队列

<property>  
    <name>ipc.8020.callqueue.impl</name>
    <value>org.apache.hadoop.ipc.FairCallQueue</value>
</property>

2.4.4 配置Yarn资源

关于Yarn内存分配与管理，主要涉及到了ResourceManage（集群资源调度协调）、ApplicationMatser（任务资源配置）、NodeManager（YARN节点代理配置）这几个概念，相关的优化也要紧紧围绕着这几方面来开展。

点击Yarn -> 资源管理：

  1. 设置ApplicationMaster Java最大堆栈：800M(AM内存默认1G)

  2. 容器内存yarn.nodemanager.resource.memory-mb
    计算一个节点需要分配的容器内存方法：
    主机内存-操作系统预留内存(12G) - Cloudera Manager Agent(1G) - HDFS DN(1G) – Yarn NM(1G)
    = 主机内存-15G

如果安装了hive.需减掉12G左右内存.
如果安装了hbase.还需减掉12-16G内存。
如果安装impala.还需减掉至少16G内存。

例：64G内存主机，如果安装了hbase,hive，则建议分配的容器内存大约为：25~30G

  1. 容器虚拟CPU内核yarn.nodemanager.resource.cpu-vcores

  2. 计算一个节点需要分配的容器虚拟内核方法：
    (主机cpu核数 – 系统预留1 – Cloudera1 – HDFS1 – Yarn NN 1) * 4
    Hbase : -1
    例：24核机器，为yarn分配可用cpu核数大约20核左右，按照 核数:处理任务数=1:4(比例可酌情调整)，建议分配为80。由于本次集群CPU计算能力没达到官网建议的比例的要求，大约分配的比例为1:2，分配的核数为30核左右。

  3. 高级配置中：mapred-site.xml 的 MapReduce 客户端高级配置代码段（安全阀）

<property>
    <name>mapreduce.tasktracker.outofband.heartbeat</name>
    <value>true</value>
</property>

2.4.5 配置oozie

点击oozie –> 配置 -> 高级 ： oozie-site.xml 的 Oozie Server 高级配置代码段（安全阀），增加配置：

<property>
<name>oozie.launcher.fs.hdfs.impl.disable.cache</name>
  <value>true</value>
</property>
<property>
<name>oozie.action.max.output.data</name>
  <value>5000000</value>
</property>

2.4.6 配置Oozie HA(用HAproxy负载均衡)

  1. Web界面操作略
  2. error：
    Oozie could not be start
    REASON:java.lang.noSuchFieldError:EXTERNAL_PROPERTY
    ERROR: java.lang.noSuchFieldError:EXTERNAL_PROPERTY
    Org.cod… jaskson…

导致上面错误是oozie的jaskson版本低，替换成1.9.13版本即可
只替换jackson-mapper-asl和jackson-core-asl即可

替换步骤：

1.
先将192.168.188.13的两jar包拷贝到/opt/cloudera/parcels/CDH/lib/oozie下

2.

find . -name “jackson*” | grep -e “^./lib” | xargs -i dirname {} | sort |uniq | xargs -i cp jackson-* {}

3.

find . -name “jackson*” | grep -e “^./lib” | xargs -i dirname {} |sort | uniq | xargs -i mv {}/jackson-mapper-asl-1.8.8.jar .

4.

find . -name “jackson*” | grep -e “^./lib” | xargs -i dirname {} |sort | uniq | xargs -i mv {}/jackson-core-asl-1.8.8.jar .

2.4.7 其他优化

1.DRF策略

CDH集群调优：内存、Vcores和DRF

默认配置下，CPU核数和内存是1：1G的比例来启动任务的。可通过调整参数yarn.nodemanager.resource.memory-mb进行调整

2.每个container的分配多少内存和cpu

当应用程序向resource manager 申请资源（即申请container ）时， RM分配给一个container 多大的内存是按照一个最小单位进行分配的。 例如， 我们设置分配的最小单位为4GB， 则RM分配出来的container的内存一定是4G的倍数。 假设现在有一个程序向RM申请 5.1G的内存， 则RM会分配给它一个8GB的container去执行。

yarn.scheduler.minimum-allocation-mb=4096

在实际执行map reduce的job中， 一个container实际上是执行一个map 或者reduce task的jvm的进程。 那么这个jvm在执行中会不断的请求内存，假设它的物理内存或虚拟内存占用超出了container的内存设定， 则node manager 会主动的把这个进程kill 掉。

这里需要澄清一点， JVM使用的内存实际上分为虚拟内存和物理内存。 JVM中所有存在内存中的对象都是虚拟内存， 但在实际运行中只有一部分是实际加载在物理内存中的。 我们使用linux的top 可以看到 VM, RES, 前者是虚拟内存，后者可以看成近似是实际占用的物理内存。 因此在设置mapreduce的task的 jvm opts 参数时， 应将heap size 设置的比container允许的最大虚拟内存小。 这样jvm 不会因为申请过多的内存而被node manager 强制关闭。 当然设置最大heap size 如果在执行中被超过， jvm就会报 OutOfMemoryException。

同时还有一个参数，设定了RM可以分配的最大的container是多大。 假设应用程序向RM申请的资源超过了这个值， RM会直接拒绝这个请求。

yarn.scheduler.maximum-allocation-mb

3.HiBench集群性能测试

在大数据领域中，集群的性能很大程度上我认为主要是由整体的网络，数据吞吐量决定的，在使用HiBench测试时候发现，使用传统电口千兆网络的任务运行时间比光网任务运行时间要慢10s左右。HiBench的基准测试集是用来衡量一个大数据平台（基于Hadoop）性能的基准测试集，包含了文件系统的IO性能，系统的批处理吞吐，数据仓库用的OLAP分析算子，机器学习的处理能力，以及流处理系统的能力。

切换到光纤后，需要修改机器机器ip，这时候cdh居然没法启动了，百度之后，发现如果使用自带数据库postgresql，需要修改hosts表中记录的元数据信息：修改CDH集群ip

3.1 简介

hibench作为一个测试hadoop的基准测试框架，提供了对于hive：（aggregation，scan，join），排序（sort，TeraSort），大数据基本算法（wordcount，pagerank，nutchindex），机器学习算法（kmeans，bayes），集群调度（sleep），吞吐（dfsio），以及新加入5.0版本的流测试：
we provide following streaming workloads for SparkStreaming, Storm .
这里写图片描述

一个完整的TeraSort测试需要按以下三步执行：

  • 用TeraGen生成随机数据
  • 对输入数据运行TeraSort
  • 用TeraValidate验证排好序的输出数据

所有hibench测试基本都是这样的流程，生成数据，运行，输出结果。

3.2 配置并编译HiBench

从GitHub下载HiBench开源包，本篇会基于HiBench-5.0为例。https://github.com/intel-hadoop/HiBench。如果是基于CDH 5.5测试，建议使用HiBench-5.0，其中包含了Spark 1.5的编译包。

编译

  • 添加JAVA_HOME 环境变量
  • 注释掉${HIBENCH_HOME} /src/streambench/pom.xml中两行
<!-- <module>stormbench</module> -->
<!-- <module>samzabench</module> -->
  • 调用编译脚本：${HIBENCH_HOME}/bin/build-all.sh

配置

  • 编辑 HiBench Configuration File：

    cd ${HIBENCH_HOME}/conf

    cp 99-user_defined_properties.conf.template 99-user_defined_properties.conf

    编译配置文件，如下修改一些参数：

    hibench.hadoop.home      /opt/cloudera/parcels/CDH/lib/hadoop
    hibench.hadoop.mapreduce.home       /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
    hibench.spark.home       /opt/cloudera/parcels/CDH/lib/spark
    hibench.hdfs.master       hdfs://cdh-node-11.cdhtest.com
    hibench.hadoop.configure.dir       /etc/hadoop/conf
    hibench.masters.hostnames       master # Resource Manager addresses
    hibench.slaves.hostnames       hostname…

    # Node Manager addresses

    hibench.spark.master       yarn-client
    hibench.spark.version       spark1.6
    spark.kryoserializer.buffer       2000m # 否则会出现大量spark.kryoserializer.buffer.mb被启用的警告
    hibench.streamingbench.zookeeper.host       zookeeper-hostnames
    hibench.streamingbench.brokerList       all-hostnames
    hibench.streamingbench.kafka.home       /opt/cloudera/parcels/KAFKA

  • 修改benchmarks.lst文件，只运行有必要的测试集，例：

    #aggregation
    #join
    #kmeans
    #pagerank
    #scan
    #sleep
    sort
    wordcount
    #bayes
    terasort
    #nutchindexing
    dfsioe

  • 修改language.lst文件，只运行有必要的语言

    cd ${HIBENCH_HOME}/conf

    在language.lst文件中，将以下两行删除

    spark/java
    spark/python

  • 修改load-config.py文件，确保Bench在运行时能找到唯一的包：

    $HiBench-Home/bin/functions/load-config.py

    将hadoop-mapreduce-client-jobclient*-tests.jar改为hadoop-mapreduce-client-jobclient-tests.jar

  • Bench在运行时有一些固化的目录和CDH不一致，需要建立目录引用

    建立目录引用

    mkdir -p /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/share/hadoop
    cd /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/share/hadoop
    ln -sf /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce mapreduce2

  • Bench会在HDFS根目录下生成文件，将HDFS的根目录权限修改为777：

    sudo -u hdfs hadoop fs -chmod 777 /

  • （可选）如果在Kerberos启用的状况下，请增加以下步骤：

    # 设置环境变量
    export HIBENCH_HOME=/root/Downloads/HiBench-master
    export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
    export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
    export SPARK_YARN_USER_ENV=”JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH,LD_LIBRARY_PATH=$LD_LIBRARY_PATH”

    # 重新登录Kerberos
    kdestroy
    kinit -k -t

运行

  • 命令行输入
    ${HIBENCH_HOME}/bin/run-all.sh

3.3 HiBench基本优化配置

**优化基本原则** 在固定数据量的前提下，一般设置成让MapReduce作业在一轮Map、Reduce内结束，否则会增加MapReduce进程的调度开销。但如果输入的数据量过大，有可能会因为单个Map或者Reduce的内存消耗过大而到时严重的GC问题，这个需要在运行时对Map或者Reduce任务进程需要监测。 **YARN基本配置**
––
NodeManagerContainer vCores数量就是系统的virtual core的数量
Container Memory配置成节点上可用内存的75%到80%之间（如128GB的机器，可以设置96GB）
ResourceManagerFair Scheduler调度器
最小容器内存1GB
最小容器CPU 1个核
最大容器内存=NodeManager Container内存的75%~80%
最大容器CPU=NodeManager Container CPU的75%~80%
增量内存512MB
增量CPU 1个核
Gatewaymapreduce.map/reduce.max.mb = 2GB
mapreduce.map/reduce.java.opts = max.mb * 0.8

附录（CDH 相关目录结构功能简介）

**1.相关目录**

/var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件（相关服务的及CM的）。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/postgres : 内嵌数据库程序。
/etc/cloudera-scm-agent/ : agent的配置目录。
/etc/cloudera-scm-server/ : server的配置目录。
/etc/clouder-scm-server/db.properties 默认元数据库用户名密码配置
/opt/cloudera/parcels/ : Hadoop相关服务安装目录。
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
/etc/hadoop/* : 客户端配置文件目录。

**2.配置**
  • Hadoop配置文件：

配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如：

/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml

这些配置文件是通过Cloudera Manager启动相应服务（如HDFS）时生成的，内容从数据库中获得（即通过界面配置的参数）。

在CM界面上更改配置是不会立即反映到配置文件中，这些信息会存储于数据库中，等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。

CM Server主要数据库为scm基中放置配置的数据表为configs。里面包含了服务的配置信息，每一次配置的更改会把当前页面的所有配置内容添加到数据库中，以此保存配置修改历史。

scm数据库被配置成只能从localhost访问，如果需要从外部连接此数据库，修改

vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf

文件,之后重启数据库。运行数据库的用户为cloudera-scm。

  • 查看配置内容

直接查询scm数据库的configs数据表的内容。
访问REST API： http://hostname:7180/api/v4/cm/deployment，返回JSON格式部署配置信息。

  • 配置生成方式

CM为每个服务进程生成独立的配置目录（文件）。所有配置统一在服务端查询数据库生成（因为scm数据库只能在localhost下访问）生成配置文件，再由agent通过网络下载包含配置文件的zip包到本地解压到指定的目录。

  • 配置修改
    CM对于需要修改的配置预先定义，对于没有预先定义的配置,则通过在高级配置项中使用xml配置片段的方式进行配置。而对于/etc/hadoop/下的配置文件是客户端的配置，可以在CM通过部署客户端生成客户端配置。

    1. 数据库
      Cloudera manager主要的数据库为scm,存储Cloudera manager运行所需要的信息：配置，主机，用户等。

    2. CM结构
      CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件：
      管理监控集群主机。
      统一管理配置。
      管理维护Hadoop平台系统。
      实现采用C/S结构，Agent为客户端负责执行服务端发来的命令，执行方式一般为使用python调用相应的服务shell脚本。Server端为Java REST服务，提供REST API，Web管理端通过REST API调用Server端功能，Web界面使用富客户端技术（Knockout）。
      Server端主体使用Java实现。
      Agent端主体使用Python, 服务的启动通过调用相应的shell脚本进行启动，如果启动失败会重复4次调用启动脚本。
      Agent与Server保持心跳，使用Thrift RPC框架。

    3. 升级
      在CM中可以通过界面向导升级相关服务。升级过程为三步：
      1.下载服务软件包。
      2.把所下载的服务软件包分发到集群中受管的机器上。
      3.安装服务软件包，使用软链接的方式把服务程序目录链接到新安装的软件包目录上。

    4. 卸载
      sudo /usr/share/cmf/uninstall-scm-express.sh, 然后删除/var/lib/cloudera-scm-server-db/目录，不然下次安装可能不成功。

    5. 开启postgresql远程访问
      CM内嵌数据库被配置成只能从localhost访问，如果需要从外部查看数据，数据修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重启数据库。运行数据库的用户为cloudera-scm。

参考文献

1.CDH官方文档
2.http://www.cloudera.com/documentation.html
3.CDH5.8官方文档 http://www.cloudera.com/documentation/enterprise/latest.html
4.http://blog.selfup.cn/1631.html#comment-403
5.https://github.com/intel-hadoop/HiBench

weixin_33843409
关注
Spark大数据集群计算的生产实践
大数据Spark教程
12-06 455
本文会介绍 Spark 核心社区开发的生态系统库，以及 ML MLlib 及 Spark Streaming 的 Spark 库的具体用法，对于企业的各种用例及框架也进行了说明。 spark拥有一个庞大的、不断增长的社区，还有在企业环境中不可或缺的生态系统。这些生态系统提供了不同生产环境案例所需的许多功能。一般来说，Spark 应用做的是机器学习算法、日志聚合分析或者商务智能相关的...
超越Spark，大数据集群计算的生产实践
IT时代周刊
05-24 396
spark拥有一个庞大的、不断增长的社区，还有在企业环境中不可或缺的生态系统。这些生态系统提供了不同生产环境案例所需的许多功能。一般来说，Spark 应用做的是机器学习算法日志聚合分析或者商务智能相关的运算，因为它在许多领域都有广泛的应用，包括商务智能、数据仓库、推荐系统、反欺诈等。 本文会介绍 spark核心社区开发的生态系统库，以及 ML/MLlib 及 Spark Streaming sp...
CDH4.3.0 HDFS 读写性能测试
08-09
HDFS 读写性能测试
CDH集群安装&测试总结
cihongmo6452的博客
10-24 486
0.绪论 之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的： 当我搭建的过程中，发现这些东西是这样的： 对于初学者来说，我认为缺点如下： 1.需要控制，配置的东西太...
kylin2.1.0+cdh5.10.1+安装部署+官方测试例子详细教程
请叫我架构师，谢谢！
09-01 9658
kylin2.1.0在cdh5.10.1详细安装教程+kylin官方数据测试
大数据之CDH数仓(18) | 测试之集群性能测试
Knight
10-13 1760
DFSIO测试 在Hadoop中包含很多的基准测试，用来验证集群的HDFS是不是设置合理，性能是不是达到预期，DFSIO是Hadoop的一个基准测试工具，被用来分析集群HDFS的I/O性能。 DFSIO后台执行MapReduce框架，其中Map任务以并行方式读写文件，Reduce任务用来收集和汇总性能数字。可以通过这个基准测试对比吞吐量、IO速率的结果以及整个磁盘的原始速度，来确定你的集群是否得到了期待的性能。另外，可以通过这些测试中指标的严重偏差发现集群中一个或多个问题节点，结合监控系统一起使用能够更好的
CDH-6.1.0-1 执行yarn测试， 执行wordcount 程序demo
weixin_34208185的博客
02-28 612
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive总结
CharlesDavid
12-29 673
Hive总结 文章目录Hive总结一 Hive基本概念1 Hive简介1.1 什么是 Hive1.2 为什么使用 Hive2 Hive 架构2.1 Hive 架构图2.2 Hive 组件2.3 Hive 与 Hadoop 的关系3 Hive 与传统数据库对比4 Hive 数据模型5 Hive 安装部署二 Hive 基本操作2.1 Hive HQL操作初体验2.2 Hive的内部表和外部表2.3 分区表2.4 动态分区三 Hive 函数3.1 内置运算符3.2 内置函数3.3 Hive 自定义函数和 Tran
linux,shell,hadoop相关总结
qq_43797434的博客
09-06 437
总结 Linux&amp;Shell相关总结 Linux常用命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） 4 iotop -o 直接查看比较高的磁盘读写程序 5 netstat -tunlp | grep 端口号 查看端口占用情况 6 uptime 查看报告系统运行时长及平均负载 7 ps -aux 查看进程 Shell常用工具 1）awk、sed、c
spark-使用cloudera manager部署的spark测试运行mllib的例子
lisery的博客
10-29 1496
1.测试cdh集群中spark是否正常运行 [root@cdh01 ~]# spark-submit --master local --class org.apache.spark.examples.SparkPi /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/spark/lib/spark-examples.jar 10 18...
采用Hibench进行大数据平台（CDH）基准性能测试
风筝中有风
03-07 1万+
参考博客地址：http://blog.csdn.net/wenwenxiong/article/details/77628670                        http://www.cnblogs.com/hellowcf/p/6912746.html最近的项目要给客户部署一套大数据平台（CDH），因此要出一个关于平台本身的性能测试。对测试流程不太了解，相比于项目功能测试，这种平台...
CDH权限测试示例
DF_XIAO的专栏
10-17 2072
1.  准备测试数据 cat/tmp/events.csv   10.1.2.3,US,android,createNote 10.200.88.99,FR,windows,updateNote 10.1.2.3,US,android,updateNote 10.200.88.77,FR,ios,createNote 10.1.4.5,US,windows,updateTag
CDH离线安装
weixin_30508309的博客
11-19 192
1. 安装准备 系统:Centos 6 Cloudera Manager分配如下： 　　 安装版本：CDH-5.8.0 所需安装文件　　 CDH相关 　　　　　　CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel 　　　　　　CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1　　　　　　manif...
CDH集群环境要求
热门推荐
u011594486的专栏
08-23 1万+
CDH集群环境要求 CDH 5.x 集群
CDH Disk Balancer 磁盘数据均衡
shengjk1的博客
06-30 6015
前提： CDH5.10由于数据量过多，磁盘大小太小，导致磁盘使用率高达90%以上，于是新增磁盘，可问题来了，如何将这两块磁盘上的数据进行均衡呢？ hadoop在2.X中已经有相应的方法了(具体哪个版本忘了)，本次基于CDH来做1.设置dfs.disk.balancer.enabled 为true 2.hdfs diskbalancer -plan cdh03(需要均衡的机器) 会生成一个*.
MapReduce 从作业、任务（task）、管理员角度调优
iteye_14580的博客
10-14 580
【摘自hyj博主】 Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。 一 应用程序编写规范 1.设置Combiner 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中间输出的结果，从而减少各个Reduce Task的远程拷...
hbase日常运维管用命令，region管理
weixin_30414155的博客
12-09 719
hbase日常运维管用命令，region管理 1 Hbase日常运维 1.1 监控Hbase运行状况 1.1.1 操作系统 1.1.1.1 IO 群集网络IO，磁盘IO，HDFS IO IO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大...
CDH集群搭建总结
weixin_40670099的博客
08-14 706
        Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装                                目录 Centos6.7 + CDH5.4.5. 1 HADOOP 集群环境离线安装... 1 一、集群系统环境准备... 4 1.        环境介绍... 4 2.        安装文件...
一个根据所给资源自动配置CDH中Hadoop等参数的工具
DataFlow范式
08-09 1598
分享一个根据所给内存，CPU等资源，自动配置Hadoop等参数的工具。假设Python的名字为：cdh_auto_configuration.py，完整内容如下：#!/usr/bin/env pythonimport optparsefrom pprint import pprintimport loggingimport sysimport mathimport ast''' Reserved
Cloudera CDH集群安装与PoC测试注意事项
"本文档是关于CDH集群安装与性能调优的一份PPT资料，主要涵盖PoC测试前的准备工作、CDH集群安装注意事项、安装后的任务、集群及组件优化，以及PoC中常见问题与解决方案。内容涉及到客户情况分析、竞争情况分析、测试...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值