cloudera mamager
xiao_jun_0820
要自己每天都开心,不要烦恼
忘掉压力,天天好心情
展开
-
cloudera mamager中配置hive加载自定义的jar包
前些时间写了一篇文章是关于hive解析json字符串的,当时自定义了一个JSONSerDe.jar,然后我在hive-env.sh中配置了HIVE_AUX_JARS_PATH,使得hive客户端可以找到我的这个JAR包,不会报找不到类的错误,当时一切都很美,今天突然发现我的配置没了,原来CM重启还原了它的配置,因为这个配置是我在控制台上改的,而不是通过CM管理后台改的。于是开始研究CM的文档,在其原创 2014-07-30 16:20:42 · 6492 阅读 · 0 评论 -
由于在写oozie hive action时候script属性指定hql脚本时多写了一个斜杠导致的一个悲剧,以及解决方案
今天在编写 oozie hive action,编写的action如下: ${jobTracker} ${nameNode} /tmp/hupu/hive/res/hive-site.xml /tmp/hupu/hive/tmphql/原创 2015-02-09 18:00:38 · 2212 阅读 · 0 评论 -
让cloudera manager装的spark支持hql
如何编译spark源码 的assembly来支持hive前面的文章已经介绍过,如果你是用cm装的搭建的集群:第一步:在cm 中的spark service里指定gateway为你要使用spark命令行的节点。第二步:将assembly jar上传到hdfs第三步:在spark的服务范围中修改以下配置为你在hdfs上的assembly jar第四步:spark原创 2015-03-27 19:32:38 · 7078 阅读 · 0 评论 -
How to Plan and Configure YARN and MapReduce 2
As part of HDP 2.0 Beta, YARN takes the resource management capabilities that were in MapReduce and packages them so they can be used by new engines. This also streamlines MapReduce to do what it d转载 2015-04-02 14:20:15 · 772 阅读 · 0 评论 -
sqoop 导入数据的时候出现Unsupported major.minor version 52.0的问题描述
出现该问题是由于cloudera manager和系统的jdk版本不一致导致的,更具体点是cm使用的是低版本的jdk(我的是1.7),而操作系统通过java -version出来的版本是高版本的jdk(我的是1.8),由于sqoop会自动生成代码并编译程jar然后提交给map-reduce执行,所以shell命令行执行sqoop编译出来的job jar是1.8编译的,而我的cm5.3.0安装的时候原创 2016-02-22 12:57:40 · 5365 阅读 · 0 评论 -
kafka gc日志导致比较累赘的低端线下测试环境磁盘被写满了的处理方案
kafka home bin目录下面有个kafka-run-class.sh脚本,其中有定义会打印详细的kafka gc日志while [ $# -gt 0 ]; do COMMAND=$1 case $COMMAND in -name) DAEMON_NAME=$2 CONSOLE_OUTPUT_FILE=$LOG_DIR/$DAEM原创 2016-11-29 18:08:21 · 3404 阅读 · 0 评论 -
cdh5.7.1默认安装无法装载native lib的问题解决(cdh5.5.x好像也有这个问题)
用CDH5.7.1新装一个测试集群发现执行mapreduce时候无法装载native lib:WARN [main] org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica原创 2016-10-30 16:00:05 · 1816 阅读 · 0 评论 -
一步一步完成如何在现有的CDH集群中部署一个与CDH版本不同的spark
首先当然是下载一个spark源码,在http://archive.cloudera.com/cdh5/cdh/5/中找到属于自己的源码,自己编译打包,有关如何编译打包可以参考一下我原来写的文章:http://blog.csdn.net/xiao_jun_0820/article/details/44178169执行完之后你应该能得到一个类似spark-1.6.0-cdh5.7.原创 2017-02-17 17:52:31 · 5784 阅读 · 0 评论 -
yarn client中的一个BUG的修复
org.apache.spark.deploy.yarn.Client.scala中的monitorApplication方法:/** * Report the state of an application until it has exited, either successfully or * due to some failure, then return a pair o原创 2017-02-20 11:36:23 · 2884 阅读 · 0 评论 -
CDH5.0.0使用hue中的oozie编辑器创建一个wordcount的mapreduce job
${jobTracker} ${nameNode} /shareScripts/xxmapred-site.xml mapreduce.job.map.cla原创 2014-10-22 14:42:18 · 16627 阅读 · 1 评论 -
cloudera manager维护相关(系统日志相关)
今天登入上CM,发现报了很多警告,大致查看了一下,j原创 2014-10-20 21:46:36 · 10940 阅读 · 2 评论 -
cloudera search1.0.0环境搭建(2):利用flume-ng的MorphlineSolrSink实现近实时(NRT)搜索
要实现近实时搜索,就必须有一种机制来实时的处理shuj原创 2014-11-03 16:24:24 · 5165 阅读 · 0 评论 -
flume学习(八):自定义source
按照以往的惯例,还是需求驱动学习,原创 2014-07-31 14:16:04 · 30181 阅读 · 22 评论 -
Cloudera Manager分析
Cloudera Manager分析目录1. 相关目录2. 配置3. 数据库4. CM结构5. 升级6. 卸载7. 开启postgresql远程访问1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件(相关服务的及CM的)。/usr/share/cmf/ : 程序安装转载 2014-09-18 17:11:21 · 8191 阅读 · 3 评论 -
Hadoop的kerberos的实践部署
本文重点描述实际操作和实践部分。理论部分和介绍将一笔带过。测试结果:在CM下的kerberos,遇到严重的bug不能顺畅跑通。在自己的Hadoop下,能够顺利跑通。Hadoop的认证机制详细介绍请参考Hadoop安全机制研究hadoop-kerberos介绍简单来说,没有做kerberos认证的Hadoop,只要有client端就能够连接上。而且,通过一个有root的权限的内网转载 2014-09-18 17:19:03 · 21122 阅读 · 1 评论 -
CM安装好集群之后在shell命令下执行hive 或者hbase操作遇到权限问题的解决方法
CM 安装的hive,默认使用CM创建的hive用户启动的hive相关的原创 2014-09-22 14:57:56 · 2910 阅读 · 0 评论 -
cloudera manager 安装时候出现
python -c 'import socket; print socket.getfqdn(), socket.gethostbyname(socket.getfqdn())'转载 2014-11-11 23:20:59 · 7105 阅读 · 0 评论 -
flume学习(十):使用Morphline Interceptor
Morphline是干嘛用的?简单点说就是一个ETL工具,详细原创 2014-10-29 18:53:16 · 10112 阅读 · 3 评论 -
cloudera search1.0.0环境搭建(1):搭建solrcloud
本文基于Cloudera Manager5.0.0安装的各个服务,如原创 2014-10-28 14:41:28 · 6067 阅读 · 1 评论 -
cdh5版本中的oozie hive action使用及踩坑集锦
本来的出发点是想做一个能够提交hive ql的web接口,然后我可以在接口层面做很多定制的功能,于是开始找hive restful接口相关的信息,发现Hive有个webhcat服务,可以提交hive ql然后还可以将输出写入到指定的HDFS目录上,而且还有callback功能,在执行完成后给指定URL发送消息。看了一下源代码,原理其实和Oozie差不多,也是启动了一个单mapper任务来管理JOB原创 2017-07-26 15:23:05 · 4162 阅读 · 1 评论