CDH
TURING.DT
科技改变世界,技术改变人生。
展开
-
CDH查看NameNode高可用NameService名称
cdh 查看 namenode 高可用nameservice名称,如下图所示:第一步:第二步:第三步:或者通过以下方式查看:原创 2022-01-25 09:31:20 · 1623 阅读 · 0 评论 -
hive创建表时COMMENT带中文报错问题处理
环境:CDH 5.5.1hive创建表时带有中文就报错,如下:CREATE TABLE IF NOT EXISTS test(pid bigint COMMENT '测试id',fid int COMMENT 'luntanid')COMMT 'zhuti' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';FAILED: Execu原创 2016-06-12 14:45:52 · 8958 阅读 · 0 评论 -
CDH5: 使用parcels配置lzo
本文描述如何在CDH5中,使用parcels配置lzo, 并能正常使用hive进行数据查询一、Parcel 部署步骤1 下载: 首先需要下载 Parcel。下载完成后,Parcel 将驻留在 Cloudera Manager 主机的本地目录中。2 分配: Parcel 下载后,将分配到群集中的所有主机上并解压缩。3 激活: 分配后,激活 Parcel 为群集重启后使用做准备。激活前转载 2016-07-14 09:51:42 · 1621 阅读 · 0 评论 -
cdh5.5.1 配置启动flume
一、如何使用flume在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数二、关于配置文件有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,原因是因为,CDH的 cloudera-monitor.properties里配置agent_name,所以我们配置的时候需要使用这个名字,cloudera-m原创 2016-08-11 16:15:22 · 4946 阅读 · 0 评论 -
CDH集成kafka方法实践
(本文以KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel和CDH5.5.1版本截图,最后出现兼容问题,将KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel换为KAFKA-0.8.2.0-1.kafka1.4.0.p0.56-el6.parcel就正常,请大家先查看版本兼容问题)参考CDH官网文档:http://www.cloudera.com/cont原创 2016-09-05 14:32:28 · 8156 阅读 · 1 评论 -
CDH5.5.1增加新主机
1.说明CDH机器添加分三种方式1) 页面向导添加(最好离线,不然会从官网下载安装包时间较长)2) 软件包手动安装3) 原始码手动安装(原始码安装需要自己指定管理目录)这里分享第二种方式,软件包安装方法2.安装部署1) 主机名、ip等修改好,关闭防火墙,ssh免密码登录,CM服务器配置下hosts文件解析新主机2) 首先到http://archi原创 2016-09-21 16:14:00 · 4380 阅读 · 0 评论 -
CDH报错:请求 Service Monitor 超时。这可能会导致页面响应缓慢。
CDH 运行一段时间CM管理界面提示:请求 Service Monitor 超时。这可能会导致页面响应缓慢。请查看 Service Monitor 的状态。重启动服务器,此时服务器是没有人访问的。依然存在这个问题,查看了内存,还有15G free,应该没问题的。解决方法:由于相关monitor服务的jvm配置太小导致,随着cloudera的业务量加大,垃圾回收内容增多等原因导原创 2016-11-18 11:58:05 · 10366 阅读 · 2 评论 -
Kylin1.6在CDH下安装部署
一、下载kylin访问URL:http://kylin.apache.org/cn/下载文件apache-kylin-1.6.0-cdh5.7-bin.tar.gz并上传到opt目录解压tar –zxvf apache-kylin-1.6.0-cdh5.7-bin.tar.gz如果是5.5、5.7版本,也是下载for CDH 5.5/5.7/5.8 - apache-kylin-1原创 2017-01-12 11:27:24 · 4716 阅读 · 11 评论 -
修改CM管理主机IP(CDH5.0集群IP更改)
(提前规划好集群IP或主机名很重要,不要改来改去的,生产集群操作跟测试环境操作心态绝对不一样,突发事件会出现)在一个项目部署过程中,通过CM5.0部署好了集群(27个节点),但是由于种种原因需要更换集群IP网段。由于之前没遇到过这事儿,真是担心会重新再部署集群,还好通过以下方法成功实现了更改。1、修改集群所有机器/etc/hosts 文件IP映射。hostname不用变,只是更改了转载 2017-05-12 09:54:53 · 1640 阅读 · 0 评论 -
CDH postgreSQL启动报错DB initialization done. waiting for server to start.............. cloud not start
CDH启动postgreSQL时无法正常启动:[root@server share]# service cloudera-scm-server-db startpg_ctl: no server runningDB initialization done.waiting for server to start............................... clo原创 2016-06-03 18:12:53 · 5489 阅读 · 2 评论 -
问题解决:psql: could not connect to server: No such file or directory Is the server running
CDH使用postgresql作为数据库,登陆postgresql数据库,没有成功,排查下问题CDH5.5.1 postgresql路径cd /var/lib/cloudera-scm-server-db/data/[root@ambariserver pg_log]# service cloudera-scm-server-db restartwaiting for se原创 2016-06-03 13:41:52 · 33498 阅读 · 0 评论 -
apache、CDH、HDP hadoop源码下载
apache源码http://hadoop.apache.org/releases.htmlCDH源码http://archive-primary.cloudera.com/cdh5/cdh/5/HDP源码http://s3.amazonaws.com/public-repo-1.hortonworks.com/index.html#/HDP/centos6/2.x/u原创 2016-05-27 16:05:45 · 5254 阅读 · 1 评论 -
CDH5.4.0安装中,Validations界面提示修改swappiness
安装CDH5.4.0的时候,Validations界面中有以下提示内容,意思是需要在/etc/sysctl.conf中设置swappiness值为10,Cloudera recommends setting /proc/sys/vm/swappiness to at most 10. Current setting is 60. Use the sysctl command to chan原创 2016-04-13 14:06:35 · 3566 阅读 · 0 评论 -
CDH Mysql数据库 JDBC driver cannot be found.
这是一个很容易出现的问题,网上很多内容将mysql驱动包上传到不对的路径导致出现问题。cloudera manager添加hive时报错找不到jdbc driver报错JDBC driver cannot be found. Unable to find the JDBC database jar on host把包放入这个目录,注意文件名要保持一致 网上又很多需要把这个驱原创 2016-04-13 14:06:45 · 13087 阅读 · 2 评论 -
CDH 的Cloudera Manager免费与收费版的对比表
CDH 特性 免费版 付费版 Deployment, Configuration & Management 系统管理原创 2016-04-13 14:26:31 · 7944 阅读 · 0 评论 -
CDH 主机准备就绪,无法继续问题
今天处理一个CDH问题,由于各种原理,CDH装的一半的时候退出了,导致再次进入添加主机界面,无法进行下一步,解决方法,重启CDH server端服务器,等待5分钟后登录下,在管理界面删除对应的主机,之后再重新添加主机就好了。 管理员在2009年8月13日编辑了该文章文章。 -->原创 2016-04-13 14:28:33 · 2088 阅读 · 2 评论 -
CDH安装报错Hive must also be configured with YARN.
CDH群集安装的时候,中途出现问题,重新安装,到最后一步安装服务的时候报错,如下:Command failed to run because service Hive has invalid configuration. Review and correct its configuration. First error: When Hive is configured with Spark原创 2016-04-13 14:28:38 · 4068 阅读 · 2 评论 -
Cloudera Manager(CDH5)内部结构、功能包括配置文件、目录位置等
1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件(相关服务的及CM的)。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cmf/ : Agent程序代码。/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。/usr/bin/p转载 2016-05-26 15:46:42 · 11777 阅读 · 0 评论 -
CDH管理界面查看各框架的版本(hive为例)
安装好的CDH如果查看hive的版本呢,1、官网2、管理界面中官网查看一般看到的都是CDH系统默认自带的版本,如果你的CDH在运行的过程中升级过,那再参考官网的版本就会出现错误。参考:http://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_55x原创 2016-05-27 11:30:56 · 28797 阅读 · 5 评论 -
CDH调试oozie报错To enable Oozie web console install the Ext JS library.
今天调试CDH的oozie,安装好服务后,打开web管理界面:页面提示:Oozie web console is disabled.To enable Oozie web console install the Ext JS library.Refer to Oozie Quick Start documentation for details.缺少Ext原创 2016-05-27 11:39:30 · 4380 阅读 · 2 评论 -
CDH报错cloudera-scm-server dead but pid file exists
CDH CM界面出现了无法访问的情现象,查看cloudera-scm-server状态# service cloudera-scm-server statuscloudera-scm-server dead but pid file exists提示cloudera-scm-server dead# service cloudera-scm-server stop#原创 2016-04-25 16:39:30 · 18484 阅读 · 0 评论