CDH
关注
分享
扫一扫
訾零
做喜欢的事，过玩味的生活。
展开
-
CDH6.2 添加新节点
集群有三个节点，需要新添加两个节点集群： 10.0.0.22 cdh-master 10.0.0.23 cdh-slave01 10.0.0.24 cdh-slave02 添加节点： 10.0.0.26 cdh-slave03 10.0.0.27 cdh-slave04基础配置服务器配置按以前配置：Centos7.3安装CDH6.0.1之基础环境配置1. 配置新节点hosts和映射hostnamectl set-hostname cdh-slave03 # 各服务器都添加新节..原创 2020-05-20 16:46:44 · 3239 阅读 · 0 评论 -
CDH 集群修改IP
1. 停止CDH集群及 CM 服务# 主节点systemctl stop cloudera-scm-serversystemctl stop cloudera-scm-agent# 从节点systemctl stop cloudera-scm-agent2. 修改元数据数据库 scm 下HOSTS 表中，主机名对应的ipselect host_id, nam...原创 2020-02-24 17:32:20 · 1022 阅读 · 0 评论 -
CDH 外网IP无法访问 HDFS WebUI
服务器搬迁机房，与个人电脑不在同一局域网，无法访问HDFS WebUI。监听端口，发现监听的是内网IPnetstat -nltp | grep 9870CDH HDFS 中，将 NameNode 绑定到通配符地址，修改为勾选，重启服务。再查看，已经更改为监听 0.0.0.0：9870，可以成功访问 HDFS WebUI。另外Y...原创 2020-01-10 16:00:23 · 1310 阅读 · 0 评论 -
CDH 邮件通知警报
CM Service 设置警报smtp，用户名和发件人填邮箱名，密码是授权密码，而不是登录邮箱的密码发件邮箱开启 stmp测试如果不成功可以监听 Alert publisher 日志查看错误原因，大多报错都是密码不是填写的授权密码tail -F /var/log/cloudera-scm-alertpubl...原创 2019-12-12 17:41:14 · 728 阅读 · 0 评论 -
CDH Hue中 Hive 或 Impala 一直连接不释放资源
Hive - 配置 - HiveServer2 - hive-site.xml添加会话超时，但要注意会话超时后临时udf会失效。<property><name>hive.server2.session.check.interval</name><value>3000</value></property><pr...原创 2019-11-01 14:29:09 · 1816 阅读 · 1 评论 -
CDH 交换分区报警
配置环境时已经设置交换区使用为0# 查看cat /proc/sys/vm/swappiness# 0 # 修改echo "vm.swappiness = 0" >> /etc/sysctl.conf # 生效sysctl -p报警情况 :解决办法# 查看swap使用情况free -h# 查看swap挂载swapon -s...原创 2019-10-23 19:51:48 · 619 阅读 · 0 评论 -
Hue webUI设置中文界面
修改desktop下的setting.pycd /opt/cloudera/parcels/CDH/lib/hue/desktop/core/src/desktop/vimsetting.py修改LANGUAGE_CODE = 'zh_CN'#LANGUAGE_CODE = 'en-us'LANGUAGES = [ ('de', ('German')), ('...原创 2019-08-10 21:38:44 · 2353 阅读 · 4 评论 -
CDH开启静态资源池后报错
开启静态资源池后报错main : run as user is nobodymain : requested yarn user is rootCan't create directory /data1/yarn/nm/usercache/root/appcache/application_1566281848337_0001 - Permission deniedCan't cre...原创 2019-08-20 16:40:17 · 1984 阅读 · 1 评论 -
CDH平台Hue、Oozie、Impala时区问题
UTC是英国格林尼治天文台旧址零时区。中国时区是东八区，比UTC早8小时，是UTC+8。CDH平台有些组件时区默认使用的UTC时间标准时间，工作中需要自己设置。配置完需要重启服务。HueHue的默认时区是America/Los_Angeles，修改为Asia/ShanghaiHUE -> 配置 -> 搜索 zone ->修改为 Asia/Shang...原创 2019-08-18 05:10:32 · 1306 阅读 · 0 评论 -
Hive小文件合并
Hive迁移数据时发现大量小文件，严重影响Hive执行效率，在这里记录下小文件合并的问题。小文件产生的原因执行MapReduce任务时，通过会作一些优化，比如增加Reduce并行度来提升计算效率。而Reduce的增多意味着输出结果文件的增多，所以会产生小文件问题。小文件产生的问题NameNode存储元数据信息，包括HDFS的抽象目录树结构，存储数据和block分块对应关系...原创 2019-08-23 15:49:58 · 2777 阅读 · 0 评论 -
CDH意外断电故障，全部进程process information unavailable
断网后CM进不了，jps查看发现全部process information unavailable 状态。ps -ef | grep 18785发现进程不存在，说明真的是进程已经挂了。解决办法防止有假死进程，最好把process information unavailable都检查一下，细心总是没错的。确定都挂的，进入tmp下，可以看到一堆 hsperfda...原创 2019-09-08 17:26:50 · 839 阅读 · 0 评论 -
SLF4J: Class path contains multiple SLF4J bindings.问题
CDH平台，slf4j 提示重复绑定警告。可以参考下：Slf4j与Log4j的关系解决办法很简单，解除一个版本的绑定即可。cd /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jarsmv slf4j-log4j12-1.7.25.jar slf4j-log4j12-1.7.25.jar.bak...原创 2019-09-11 01:40:15 · 319 阅读 · 0 评论 -
CDH升级后 /etc/alternatives 软链接指向旧版本问题
CDH6.0.1升级6.2.0后，使用hdfs命令发现不存在，检查发现 /etc/alternatives 下的相关软链接仍然指向6.0.1。修改alternatives --config 例如修改zookeeper-server输入相应版本的编号 enter确定，再查看，变成绿色可用状态OK了。alternatives --configzoo...原创 2019-08-19 23:52:25 · 1097 阅读 · 0 评论 -
Hue的Editor检查配置问题
进去发现一堆提示，一个个解决。oozie email 服务配置中开启sla(oozie服务器等级协定)，smtp中填写邮箱信息，问题解决。HBase Thrift 服务1. HBase配置中开启HBase Thrift和代理2. 在HDFS配置中搜索core-site.xml，添加信息2. Hue 的hue_safety_valve.ini...原创 2019-08-06 16:02:12 · 1431 阅读 · 0 评论 -
CDH6安装Lzo
Lzo是目前Hadoop平台使用很广泛的压缩格式，但需要另外安装，在这里记录一下。使用的版本是Centos7.3，CDH6.0.1。官方安装文档官方配置文档查看Hadoop支持的压缩格式hadoop checknativeLzoCodec和LzopCodec区别两种压缩编码LzoCodec和LzopCodec区别： 1. LzoCodec比...原创 2019-07-02 14:02:53 · 2253 阅读 · 4 评论 -
Centos7.3安装CDH6.0.1
CDH6.0以上版本安装都适用，已经成功搭建CDH6.0.1和6.2企业级平台。版本类型 版本 下载 Linux Centos7.3 CDH CDH6.0.1 CM官方下载 CDH官方下载 JDK jdk-8u211 网盘下载 数据库 MySQL5.7.27 官方下载 JDBC mysql-c...原创 2019-06-27 15:38:47 · 1342 阅读 · 1 评论 -
大数据组件部分优化
主要是对于CDH平台上的大数据组件优化，后续再添加。目录1. HDFS2. Yarn3. Flume4. Kafka5. Hive6. Sqoop7. 其他优化：1. HDFS1. 设置HDFS多个存储目录原理：将数据分不到多个磁盘，不会只占用某个磁盘，导致某些磁盘频繁使用，某些磁盘空闲。优化：dfs.datanode.data.dir...原创 2019-07-03 17:56:47 · 772 阅读 · 0 评论 -
Centos7.3安装CDH6.0.1之基础环境配置
1. 联网安装1.查看并卸载系统自带的MySQL和Mariadbrpm -qa | grep mysqlrpm –qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_642.下载mysqlwget http://repo.mysql.com/mysql-community-release-el7-...原创 2019-06-26 11:51:56 · 1121 阅读 · 0 评论 -
CDH6.0.1高可用
CDH高可用主要是HDFS和YARN，在保证hdfs数据不丢失的情况下，即使有节点宕机，重启即可也不会有影响。官网文档目录HDFS HA Hue 设置 Hive 设置 YARN HA Hive HA HBase HAHDFS HA进入HDFS->操作->High Availability。给备用NameNode命名。这...原创 2019-07-30 10:53:45 · 2239 阅读 · 0 评论 -
CDH环境HDFS权限问题
CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。默认HDFS会开启权限认证，所以操作时，需要将root用户切换到hdfs用户，否则会报错。目录设置验证如启动spark-shell切换hdfs用户这样每次操作都需要切换不太方便，如yarn在调度时，通常会生成一些临时文件，执行完毕会删除，如果权限不够会导致出错。H...原创 2019-07-30 12:03:09 · 8040 阅读 · 0 评论 -
CDH Spark on YARN模式参数说明
调试Spark官网文档CDH5.5以后默认开启动态分配，可用通过设置参数覆盖。yarn.nodemanager.resource.memory-mb 节点yarn可用内存yarn.nodemanager.resource.cpu-vcores 节点yarn可用coresyarn.scheduler.minimum-allocation-mb yarn在整个集...原创 2019-08-10 21:55:57 · 1183 阅读 · 0 评论 -
Centos7.3安装CDH6.0.1之CM问题
1、安装agent失败，缺少依赖warning: cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID b0b19c9f: NOKEYerror: Failed dependencies: bind-utils is needed by clouder...原创 2019-07-26 11:33:38 · 4827 阅读 · 0 评论 -
CDH6.0.1卸载、MySQL5.7.27卸载
装了CDH各种问题导致稳定性问题，希望卸载重装，又担心卸载不干净会影响再次安装。这里记录下完整删除过程，都是实际验证过并重新安装成功而没有任何影响，可以不用担心卸载问题。1. CDH6.0.1 卸载1. 停止服务systemctl stop cloudera-scm-serversystemctl stop cloudera-scm-agent2. 通过yum -y r...原创 2019-07-27 01:35:41 · 895 阅读 · 0 评论 -
Livy的CDH环境parcel和csd制作
制作parcel和csd需要用到Clouderacm_ext，所以先用Git下载cm_ext，然后用Maven安装。这里主要是制作Livy Spark server，用于Spark on Hue，暂时没有用到R所以就先不安装了。因为使用平台是CDH6.0.1，所以需要修改脚本。1. 安装支持语言和环境变量Java、Scala、Python、Maven，并配置好环境变量。2. ...原创 2019-08-05 12:07:53 · 2762 阅读 · 0 评论 -
CDH部署Livy服务
Livy的CDH环境parcel和csd制作1. 添加Livy parcel到CM的parcel-repoll -hmv LIVY-1.0-el7.parcel manifest.json /opt/cloudera/parcel-repoecho "b68875cb5e5dcf437deee5618843b5cd49413d11" > LIVY-1.0-el7.pa...原创 2019-08-05 18:46:06 · 3213 阅读 · 0 评论 -
CDH环境Spark on Hue
Hue设置 --hue_safety_valve.ini[desktop] app_blacklist= use_new_editor=true [notebook] show_notebooks=true enable_batch_execute=true enable_query_builder=true[[interpreters]][[[hive...原创 2019-08-10 21:37:25 · 775 阅读 · 0 评论