CDH 系列
文章平均质量分 69
CDH深入浅出
Michealkz
这个作者很懒,什么都没留下…
展开
-
CDH 6.3.1 添加 Hue 服务并解决报错
1.添加服务数据库校验失败2.去查看Cloudera-manager-server的log定位错误/var/log/cloudera-scm-servertail -f cloudera-scm-server.log3.发现错误信息为:+ '[' ldaptest = is_db_alive ']'+ exec /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hue/build/env/bin/hue is_db_aliv原创 2021-02-26 14:55:39 · 1727 阅读 · 0 评论 -
CDH动态资源池配置
动态资源池配置Yarn默认有三种调度器——FIFO、Capacity以及Fair Scheduler,CDH推荐使用Fair Scheduler。通过动态资源池的Web UI,我们可以十分方便的配置Fair Scheduler。1)点击群集→动态资源池配置进入动态资源池的配置界面2)动态资源池配置——资源池动态资源池采用树形结构,与Fair Scheduler的队列保持一致,任务只能提交到子池。用户可自定义动态资源池,以将不同任务提交到不同的资源池中。每一个资源池都有一个权重 (weight)的转载 2021-01-10 14:08:00 · 1036 阅读 · 0 评论 -
CDH 5.16.1 离线安装 CDS
1.软件环境CDH 5.16.1Centos 7.6Scala 2.11.82.安装前准备1.下载 Spark2.3 所需的Parcel包http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/将三个文件拷贝到 /opt/cloudera/parcel-repo 目录下,如果有有相同文件,就将之前的文件重命名2.下载Spark 的csd 包http://archive.cloudera.com/spark2/csd/转载 2020-10-17 16:43:14 · 639 阅读 · 0 评论 -
CDH5.16.1 离线安装 CDK
目录1.环境版本2.安装前准备3.安装Kafka1.环境版本CDH 5.16.1CentOS 7.62.安装前准备1.查看Kafka与CDH版本对应https://docs.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka2.下载Kafka的parcel包http://archive.cloudera.com/kafka/parcels/latest转载 2020-10-17 16:37:50 · 302 阅读 · 0 评论 -
CDH5.16.1新增节点
新增节点开发环境CentOS 7.6CDH 5.16.1新增节点服务器设置1.设置hostName和Hostsvim /etc/hostnamevim /etc/hosts2.关闭SELINUX,将SELINUX=enforcing 改为SELINUX=disabledvim /etc/selinux/config3.配置ssh免密#1.在新增节点生成公钥ssh-keygen -t rsa#2.将本机的公钥复制到集群中其他服务器上cd ~/.sshssh-copy-i转载 2020-10-17 16:28:24 · 366 阅读 · 0 评论 -
CDH6.3.1 Http方式部署
一、准备工作1.离线部署主要分为三块a.MySQL离线部署b.CM离线部署c.Parcel⽂文件离线源部节点MySQLParcel离线源CM服务进程大数据组件hadoop001MySQLParcelActivity MonitorNN RM DN NMhadoop002DN NMhadoop003DN NM...原创 2020-04-28 11:15:18 · 768 阅读 · 0 评论 -
CDH5.16.1集群企业真正离线部署
CDH5.16.1集群离线部署离线部署节点规划:节点MySQL组件Parcel文件离线源CM服务进程大数据组件Hadoop001MySQLParcelActivity MonitorNN RM DN NMHadoop002Alert Publisher Event ServerDN NMHadoop003Host Monitor Se...原创 2020-02-24 22:47:12 · 477 阅读 · 2 评论 -
CDH安装失败后,重新安装CDH
CDH安装失败了,如何重新安装1> 删除Agent节点的UUID# rm -rf /opt/cm-5.12.0/lib/cloudera-scm-agent/*2> 清空主节点CM数据库进入主节点的Mysql数据库,然后drop database cm;3> 删除Agent节点namenode和datanode节点信息# rm -rf /dfs/n...转载 2019-10-18 08:44:44 · 860 阅读 · 0 评论