CDH
RayBreslin
大数据开发、设计企业应用
展开
-
CDH5.15.2替换JDK1.7到1.8
一、实现功能CDH5.15.2安装过程中默认是jdk1.7,但是很多程序是jdk1.8开发的,所以,还是替换jdk1.8方便一些。二、实现步骤1.自定义安装JDK,并配置环境变量/etc/profile。默认已会,否则参考:https://blog.csdn.net/u010886217/article/details/834793802.通过cm关闭所有服务3.命令行关...原创 2020-03-15 19:53:22 · 605 阅读 · 0 评论 -
(转)CDH5.14定期清理指南
【转载源有:主要做了1,3,作用明显】【转载原文:https://blog.csdn.net/silentwolfyh/article/details/53995576】版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/silentwolfyh/article/de...转载 2019-11-21 17:18:55 · 404 阅读 · 0 评论 -
CDH集群意外处理:集群个别主机断电处理
一、 问题描述大数据CDH集群几台机器莫名断电,CDH集群10台,5台莫名宕机,包括管理节点01。然后服务被关闭,但是,那些依旧开机的服务依旧开启。二、 解决办法思路就是重新开启cm然后,通过cm管理服务器,重新开启对应服务。1.关闭CDH集群02节点上的备份mysql,重启01和02的mysql数据库2.重启CDH的01节点的cm服务3.登录:CM服务的7180服务...原创 2019-08-06 23:02:43 · 736 阅读 · 0 评论 -
hue(6):CDH-Hue集成solr和hbase
一、 实现功能、CDH集群通过可视化界面HUE查看solr 和hbase实例。并且可以做出需要的dash board从而可以更加友好展示结果。二、HUE集成solr步骤1.HUE开启Solr服务2.修改配置备注:如果是solr cloud集群,则填写solr其中当前实例所在的节点ip即可(任意节点也可。)##URL of the solr serversolr_ur...原创 2019-08-06 13:04:38 · 1549 阅读 · 3 评论 -
CDH hive聚合操作报错:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
一、问题描述Hive的shell命令下,执行count(*)的聚合操作,结果报错:Ended Job =job_1561339819051_0474 with errorsError during job,obtaining debugging information ...FAILED : Execution Error, return code 2 from org.apache...原创 2019-07-05 06:57:08 · 6783 阅读 · 1 评论 -
CDH 无法启动server报错:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException
一、问题描述CDH启动报错systemctl restart cloudera-scm-server查看日志tail -200 /var/log/cloudera-scm-server/cloudera-scm-server.log2019-06-06 09:30:50,889 ERROR main:com.cloudera.server.cmf.bootstrap.Ent...原创 2019-06-06 09:59:28 · 1906 阅读 · 3 评论 -
solr(十):CDH集群配置solr cloud
一、目的CDH集群配置solr和单机虚拟配置solr还是非常不同的,烦人的目录是很令人头疼。在创建集群实例过程中碰了很多坑,好不容易搭建好,在此记录一下,以防下次采坑。二、环境1.CDH5.15.2三、配置步骤1.生成collection实例配置文件:指定配置文件临时目录solrctl instancedir --generate /opt/tmp2.上传文件到 ...原创 2019-05-11 00:20:50 · 2292 阅读 · 0 评论 -
CDH中sqoop日志位置
一、目的在CDH服务器中无法找到sqoop日志位置,所以搜索方法查看sqoop日志,在此记录。二、环境1.CDH5.15.2三、步骤1.登录cm,点击下面yarn2.点击“应用程序”可以查看到错误应用3.点击“应用程序详细信息”4.还没有结束,点击“logs”5.还没有完,点击“here”6.看到亲爱的日志四、总结1....原创 2019-05-07 19:33:34 · 6592 阅读 · 0 评论 -
CDH集群配置、日志、jar包以及安装目录和常用命令汇总
一、总结目的因为CDH集群的配置、日志、jar包以及安装文件的目录非常多,而且分散,每次绕进去就有种绕不出来的感觉。所以,下决心总结一下,防止自己后面采坑。二、关键目录1.开启应用目录:默认可以直接敲命令行/opt/cloudera/parcels/CDH/bin查询# lsavro-tools kite-dataset sqoop-cre...原创 2019-05-09 19:23:32 · 5631 阅读 · 4 评论