CDH5
cindysz110
望尘莫及,日积月累。
展开
-
[CDH] CDH5.13.1集成 Apache Spark2.3.4(CDS 2.3.4)
背景:已有CDH5.13.1,集成CDS 2.3.4(Apache Spark 2.3.4)。1. 环境:操作系统:CentOS7.3 CM:CM-5.13.1 CDH:CDH5.13.1 JDK:1.8.0_151 Scala:Scala 2.11.122. 集成步骤:2.1 环境准备按照官方文档要求安装好所有的软件:CDH版本CDH 5.9 + CM...原创 2019-04-02 16:42:43 · 863 阅读 · 0 评论 -
[CDH] 记一次CDH5集成SPARK2时parcel激活报错“WARN:Parcel not distributed but have active state ACTIVATIN”的问题解决
背景:CM-5.13.1 + CDH-5.13.1 集成SPARK2.3.4(CDS-2.3.4)时parcels包激活hung住,集群中有一个节点一直是在激活中,不能完成激活,进退两难。去社区找了资料,最后是调用了Clouder官方的deactivate接口把激活状态回滚到激活之前:POST接口。之后再次重新点击激活,状态还是卡在这一步不能前进,于是去CM主机上面查看cl...原创 2019-04-04 10:18:54 · 4836 阅读 · 1 评论 -
[CDH] CDH5集成Spark2.2后spark-shell启动报错解决
CDH5已集成Spark2.2,spark-shell启动报错:[root@hadoop01 bin]# ./spark2-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apache.spark.deploy.Sp...原创 2018-11-13 18:25:52 · 2185 阅读 · 0 评论 -
[CDH] CDH部署注意事项
JDK:JDK要用Oracle的JDK账号:安装cm+cdh环境使用root账号或者有sudo权限的无密码用户时区:时区同步没做会导致hbase挂掉swappiness:使用物理磁盘作为内存来使用。范围0~100,0不代表禁用,而是惰性最高;100表示使用积极性最高。一般为物理内存的2倍。集群计算对实时性要求高的 swap=0,允许job挂 迅速地加大内存或调大参数 快速执行...原创 2018-10-11 21:04:27 · 499 阅读 · 0 评论 -
[CDH5] CentOS7 安装 requests_kerberos
安装依赖yum -y install gccyum -y install python-develyum -y install krb5-develyum -y install krb5-workstationyum -y install python-devel安装requests_kerberospip install pywinrm (kerberos)pip install re...原创 2018-04-27 10:01:51 · 1336 阅读 · 0 评论 -
[CDH5] CDH5.13.1 hue服务红色警告,启动失败
CentOS7, 安装CDH5.13.1集群完成后,hue上面红色感叹号,日志提示[Errno 2] No such file or directory: '/data/log/hue-httpd/error_log'原因:服务器环境没有预先安装httpd,mod_ssl服务解决方法:yum -y install httpdyum -y install mod_ssl安装以上服务后重启hue,启动...原创 2018-04-02 14:13:27 · 2118 阅读 · 1 评论 -
[CDH5] Oozie web console is disabled 问题解决
CDH5安装完成以后Oozie Web UI点开显示 Oozie web console is disabled.问题解决:下载ExtJS2.2下载地址:http://archive.cloudera.com/gplextras/misc/ext-2.2.zip上传到服务器并解压[root@vm ~]# cd /opt/cloudera/parcels/CDH/lib/oozie/libext/...原创 2018-05-14 08:32:16 · 1387 阅读 · 0 评论 -
[CDH5] Disable Kerberos
操作系统:CentOS7.3Cloudera Manager: 5.13.1CDH: 5.13.1CDH5.13禁用Kerberos1. 停止集群2. 修改配置参数HDFShadoop.security.authentication -> simplehadoop.security.authorization -> 取消勾选dfs.datanode.address -> 改成...原创 2018-05-05 14:35:42 · 789 阅读 · 0 评论 -
[CDH5] 集群删除主机
1. CM主页 - 主机 - 所有主机,勾选要删除的主机 - 停止主机上的角色;2. 登录到要被删除的主机,停掉agent服务; 已经设置了开机自启动的,要disable掉。3. 回到CM主页 - 主机 - 所有主机,勾选要删除的主机 - 从集群中删除;4. 再次勾选要删除的主机 - Remove Hosts from Cloudera Manager。...原创 2018-05-11 10:21:48 · 6489 阅读 · 2 评论 -
[CDH5] CDH5集成SPARK2 parcel时激活失败回滚方法
背景:CM-5.13.1 + CDH-5.13.1 集成SPARK2.3.4(CDS-2.3.4)时parcels包激活hung住,进退两难。Cloudera并没有在CM控制台开发Cancel或者回滚的入口,此时服务状态就是hung住页面无法操作。通过查询接口文档,Cloudera提供了一个deactivate的POST接口可以来回滚active操作:curl -u...原创 2019-04-03 20:03:55 · 2994 阅读 · 1 评论