排序:
默认
按更新时间
按访问量

cloudera cdh 5.11 编译 启动spark thrift server spark sql

cloudera cdh 是阉割版的spark,没有spark sql和thrift server,没有办法启动thrift server做JDBC/ODBC查询。那么是否有办法自己重新编译spark,来获得这种能力呢? 本人尝试修改spark的hadoop和hive依赖(pom.xml中改成1...

2017-11-29 17:19:15

阅读数:160

评论数:0

CDH更改Zookeeper日志路径报错

CDH挂载在/上,硬盘容量过小,把日志目录换到/home,更改日志路径为/home/var/log/xxx,结果出现如下错误:  log4j:ERROR setFile(null,true) call failed. java.io .FileNotFoundException: /h...

2017-10-23 16:53:21

阅读数:179

评论数:0

cloudera cdh编译carbondata

carbondata 编译,官方的git文档上只说明了如何使用原生spark编译,我们使用的是cdh版,所以编译命令是: mvn -DskipTests -Pspark-1.6 -Dspark.version=1.6.0-cdh5.10.2 clean package 遇到...

2017-10-12 21:52:18

阅读数:338

评论数:0

Failed to find metadata store by url: kylin_metadata@hbase

CDH版本:5.10,Kylin版本:2.10 CDH集群重装后启动Kylin实例遇到如下问题: Exception in thread "main" java.lang.IllegalArgumentException: Failed to find metadata s...

2017-09-25 12:42:54

阅读数:2149

评论数:1

Cloudera CDH 5不关闭防火墙方案

如果CDH集群需要和外界连接,往往会害怕不启动防火墙会把端口暴露在危险之中。 所以可以启用iptables并设置开启端口白名单。 CDH官网提供了详细的端口列表: https://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installati...

2017-02-08 16:33:23

阅读数:809

评论数:0

Flume使用Hive作为Sink总结

项目中打算使用Flume把数据直接传到Hive表而不是HDFS上。使用Hive作为Sink,Flume版本为1.7.0。 开始时候遇到Failed connecting to EndPoint错误,Caused by: org.apache.hive.hcatalog.streaming.Str...

2017-01-11 19:17:51

阅读数:6208

评论数:2

Apache Kylin实践

整理了下近期比较优秀的关于Apache Kylin的实践和博客: Apache Kylin在百度地图的实践 http://www.infoq.com/cn/articles/practis-of-apache-kylin-in-baidu-map 摘要:百度基于Kylin的二次开发管...

2017-01-10 13:33:38

阅读数:3461

评论数:0

从Apache Phoenix4.7.1升级4.8.1报错Cluster is being concurrently upgraded from 4.7.x to 4.8.x.

在CDH 5.7集群上升级Phoenix,原来是4.7.1,现在打算升级4.8.1。 步骤就按照官方文档上的说明,首先下载4.8.1的bin压缩包,解压后把server.jar(为了保险把core和client)放到hbase的lib目录下替换原有的4.7.1 jar包。CDH环境下是/opt/c...

2016-10-25 15:29:59

阅读数:1374

评论数:0

SQOOP从Oracle导入数据到Hive时hang up在MapReduce作业过程

打算从Oracle一个模式中导入数据到Hive,打算导入的数据都存在视图里。 其他几个视图的导入过程都很顺利,有一个小坑是如果没有设置split-by column选项,只能用一个mapper(--num-mappers 1)。 基本语句为 sqoop import --hive-impor...

2016-10-21 14:38:34

阅读数:720

评论数:0

Apache Kylin使用总结

Apache Kylin是一款以预处理Cube来提高查询速度的OLAP引擎。 首先对维度表做个简单的介绍。 麒麟只支持星型模型,也就是说一个事实表加上多个维度表。维度表不存在支架型结构。维度表存放的大多是描述性字段,用于筛选。其实以SQL的角度来看就是group by/filter throu...

2016-09-07 22:34:30

阅读数:6662

评论数:0

CDH5.4.10 在Hive上执行Update,Delete操作报错Attempt to do update or delete using transaction manager that doe

在Hive上执行事务操作(增、删、改、查)出现FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does not support these ...

2016-08-24 16:35:40

阅读数:4613

评论数:1

Apache Kylin部署在CDH 5.4上报错Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescr

在CDH 5.4.10集群上部署Apache Kylin,启动后访问7070端口屏幕空白,说明服务器启动但是网站没有起来。查看了下日志,报了错: Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDes...

2016-08-09 11:06:28

阅读数:2152

评论数:0

Hive Hook类型

Hive在程序启动不同阶段设置了hook供用户自定义不同的行为 一共有四个阶段提供Hook以供注入定制化代码 Driver run hooks (Pre/Post)Semantic analyizer hooks (Pre/Post)Execution hooks (Pre/Failu...

2016-07-20 17:57:57

阅读数:1874

评论数:0

Unknown lifecycle phase "mvn". You must specify a valid lifecycle phase or a goal

用Eclipse集成的Maven打包项目时按照网上所述输入 mvn clean package遇到 Unknown lifecycle phase "mvn". You must specify a valid lifecycle phase or a goal in the...

2016-07-04 13:37:56

阅读数:7458

评论数:0

User root is not allowed to impersonate anonymous

使用HiveServer2 and Beeline模式运行时,启动好HiveServer后运行 beeline -u jdbc:hive2://localhost:10000 -n root 连接server时 出现 java.lang.RuntimeException: org.a...

2016-05-24 13:32:01

阅读数:8000

评论数:0

org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state wo

Hive单机启动遇到metastore 未初始化错误, Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use ...

2016-05-23 18:06:26

阅读数:7714

评论数:0

一次使用Eclipse Memory Analyzer分析Tomcat内存溢出

最近在研究JVM,Eclipse里面有内存使用情况的插件,叫Eclipse Memory Analyzer。网上这篇文章对这个插件有着详细的描述。 原文地址:http://tivan.iteye.com/blog/1487855 前言 在平时开发、测试过程中、甚至...

2016-03-23 22:27:52

阅读数:321

评论数:0

SVN There are unfinished transactions detected

Eclipse SVN commit遇到There are unfinished transactions detected 错误 在Team Synchronizing View中右键项目 -> Local -> Cleanup,清除历史记录后问题解决

2016-03-21 16:29:10

阅读数:7867

评论数:0

Flume错误

Flume运行遇到Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError: GC overhead limit exceeded错误 网上搜了...

2016-03-16 17:17:24

阅读数:320

评论数:0

Kryo 为什么比 Hessian 快

Kryo 为什么比 Hessian 快

2016-02-23 17:13:59

阅读数:476

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭