CDH
CleoL
这个作者很懒,什么都没留下…
展开
-
搭建CM时,初始化数据库报错的整理
1)原因:找不到JAVA_HOME解决:环境变量必须配置在/usr/java/下2)原因:找不到mysql驱动解决:上传mysql-connector-java.jar到/opt/cm-5.7.0/share/cmf/lib下3)原因:数据库用户名的密码不符合规则解决:重新修改scm库的用户密码(至少8位,包含大小写字母,数字,特殊字符)...原创 2018-07-20 12:23:09 · 2891 阅读 · 0 评论 -
8888,50070,8088等端口无法访问
现象:master机器通过wget可以正确的得到页面,但是外网却无法获取,而且网络的设置是正确的。查看端口占用发现这些端口全部绑定在内网IP上而不是0.0.0.0。解决方法:去各自的配置文件中配置即可,选择绑定至0.0.0.0端口,然后重启即可。...原创 2018-08-08 09:56:29 · 3181 阅读 · 0 评论 -
Yarn服务无法启动
Yarn服务无法启动1有一次同事拿着我写的安装手册去安装CDH,结果在启动Yarn服务这一步一直失败,而且没有log文件生成,也就是根本就不知道是什么错误。经过百般尝试后依然无果。于是问同事是不是严格按照我的文档上来的,同事说是。结果又尝试和排查了很多次后,同事突然说,我想起来了,打通ssh没按照你的来,你是生成key了分发到其它机器,其实有种口令直接就能分发key到其它机器,不用在本机生...原创 2018-08-08 09:56:19 · 4906 阅读 · 0 评论 -
如何利用Cloudera Manager来手动安装parcel包
1、问题的描述: 当你利用Cloudera Manager部署了CDH的集群后,也许随着你的业务需求,你需要对你的就去哪做一些优化,或者扩展之类的,这个时候你可能需要下载安装一些组件。例如,我最近在阅读Cloudera 官方文档的是,看到有一节的内容说到Performance Management的时候,发现为了提升集群的性能,经常会将数据进行压缩,此时就会需要添加一些parcel的安装。...原创 2018-08-02 16:12:46 · 1021 阅读 · 0 评论 -
启动agent报错-ERROR :Failed to connect to previous supervisor.
确认将老的supervisord都杀干净了。可以先ps ax | fgrep supervisord 看下是否有老的进程[root@hadoop2 ~]# ps ax | fgrep supervisord python -c 'import socket; print socket.getfqdn(), socket.gethostbyname(socket.getfqdn())'...原创 2018-08-02 16:10:40 · 2443 阅读 · 0 评论 -
CDH5.X完全卸载步骤
//CDH5.X完全卸载步骤# by coco# 2015-01-14 1. 关闭集群中的所有服务。 这个可以通过clouder manger 主页关闭集群。2. 卸载[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh [root@slave1 ~]# service cloudera-s...原创 2018-08-02 16:07:41 · 448 阅读 · 0 评论 -
heap交换空间设置的小
组件搭建后,不几天磁盘被写满,在/tmp目录下每3分钟产生一个700M左右的mgmt_navigatormetaserver_pid***.hprof文件,而且权限是600官方文档如图 原因:heap交换空间设置的小,调大到2G在/tmp目录下,赋予mgmt_*_navigatormetaserver_pid*.hprof 777权限。然后,刷新/tmp目录...原创 2018-08-02 16:06:56 · 541 阅读 · 0 评论 -
启动Oozie,impala失败
错误展示 原因没有mysql-java连接jar包解决方法# ls CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz manifest.json CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1 jdk-8u91-lin...原创 2018-08-02 16:02:25 · 609 阅读 · 0 评论 -
启动NFS Gateway失败
错误展示原因解决方法# yum -y install rpcbind # systemctl start rpcbind # echo "systemctl start rpcbind" >> /etc/rc.d/rc.local # chmod +x /etc/rc.d/rc.local原创 2018-08-02 16:00:02 · 1024 阅读 · 0 评论 -
启动Hive失败
错误展示原因根据提示发现是没有mysql-java连接的驱动jar包解决方法# ls CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz manifest.json CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1 jdk-8...原创 2018-08-02 15:57:49 · 1065 阅读 · 0 评论 -
启动server报错:install- invalid user ‘cloudera-scm’
错误展示# /opt/cm-5.7.0/etc/init.d/cloudera-scm-server start install: invalid user ‘cloudera-scm’原因没有创建运行server的用户解决方法#useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server --shell=/bin/...原创 2018-08-02 15:32:38 · 1362 阅读 · 0 评论 -
cloudera-scm-agent start 启动失败
cloudera-scm-agent start 启动失败# /opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start Starting cloudera-scm-agent: [FAILED]查询日志# cd /opt/cm-5.7.0/log/cloudera-scm-agent/ # ls cloudera-scm-agent.out #...原创 2018-08-02 15:23:48 · 13059 阅读 · 1 评论 -
Host Monitor和Service Monitor服务无法启动
1)原因:内存设置过低或者“进程打开最大文件数”过低解决:在.bashrc中添加了ulimit -HSn 65535,重新安装2)重新配置集群报错ERROR com.cloudera.cmon.firehose.Main Error creating LevelDB subject record store. com.cloudera.cmon.tstore.lev...原创 2018-07-20 16:19:13 · 6886 阅读 · 0 评论 -
启动hdfs时,报错 Canary 测试无法在目录 tmp.cloudera_health_monitoring_canary_files 中创建文件
原因:查看日志,发现 Name node is in safe mode.解决:sudo -uhdfs hdfs dfsadmin -safemode leave注:重装要清空namenode和datanode的数据目录,或者保证cluster_id是一样的。如果出现金丝雀问题,请更改hdfs的权限验证,把勾去掉,把supergroup改成hdfs即可...转载 2018-07-20 16:18:07 · 6887 阅读 · 0 评论 -
主机检测存在未通过的检查项
主机检测有两项没有检查通过解决:1)执行命令echo 10 > /proc/sys/vm/swappiness编辑文件/etc/sysctl.conf 增加一行 vm.swappiness=102)执行命令echo never > /sys/kernel/mm/transparent_hugepage/defrag编辑文件/etc/rc.local添加ech...转载 2018-07-20 16:16:24 · 658 阅读 · 0 评论 -
启动server/agent失败,报错pstree: command not found
1)# /opt/cm-5.7.0/etc/init.d/cloudera-scm-server start/opt/cm-5.7.0/etc/init.d/cloudera-scm-server: line 109: pstree: command not foundStarting cloudera-scm-server: [FAILED]原因:因为系统是最小化安装,默认没有安...原创 2018-07-20 16:11:42 · 3602 阅读 · 0 评论 -
机器ip变化导致无法识别集群里面的机器
机器ip变化导致无法识别集群里面的机器解决办法:网上很多都是基于postgresql数据库的解决方案,如果是基于mysql安装的CM,要使用当时安装CM初始化数据库的用户名和密码登陆数据库,修改cm数据库中的HOSTS表即可。...原创 2018-08-08 09:56:36 · 166 阅读 · 0 评论