关闭

cloudera cdh编译carbondata

carbondata 编译,官方的git文档上只说明了如何使用原生spark编译,我们使用的是cdh版,所以编译命令是: mvn -DskipTests -Pspark-1.6 -Dspark.version=1.6.0-cdh5.10.2 clean package 遇到一个坑是spark-hive-thriftserver,因为spark版本是1.6.0-cdh5.10...
阅读(53) 评论(0)

Failed to find metadata store by url: kylin_metadata@hbase

CDH版本:5.10,Kylin版本:2.10 CDH集群重装后启动Kylin实例遇到如下问题: Exception in thread "main" java.lang.IllegalArgumentException: Failed to find metadata store by url: kylin_metadata@hbase at org.apache.kylin.common...
阅读(207) 评论(0)

Cloudera CDH 5不关闭防火墙方案

如果CDH集群需要和外界连接,往往会害怕不启动防火墙会把端口暴露在危险之中。 所以可以启用iptables并设置开启端口白名单。 CDH官网提供了详细的端口列表: https://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installation-Guide/cdh5ig_ports_cdh5.html https://www.clou...
阅读(464) 评论(0)

Flume使用Hive作为Sink总结

项目中打算使用Flume把数据直接传到Hive表而不是HDFS上。使用Hive作为Sink,Flume版本为1.7.0。 开始时候遇到Failed connecting to EndPoint错误,Caused by: org.apache.hive.hcatalog.streaming.StreamingException: Cannot stream to table that has no...
阅读(2801) 评论(1)

Apache Kylin实践

整理了下近期比较优秀的关于Apache Kylin的实践和博客: Apache Kylin在百度地图的实践 http://www.infoq.com/cn/articles/practis-of-apache-kylin-in-baidu-map 摘要:百度基于Kylin的二次开发管理监控系统以及Cube优化 Apache Kylin在云海的实践 http://www.c...
阅读(2198) 评论(0)

百合网被骗记录——记一个女骗子

作为一个IT工程师,不太逛其他论坛。不太清楚这类帖子应该发到哪个论坛上,所以就放在这上面了。 下面是我在百合网上被骗的经过和想法,以此告诫其他人,以免被骗。 我在上个礼拜闲来无事,而且年纪也到了,就注册了百合网。想看看上面有没有合适的。 百合有一个邂逅的功能就是能根据照片点喜欢还是不喜欢。点了挺多个的也没有人联系我(难道是本屌比较挫?)。然后发现消息那有个+1的提示。点进去看了下,哇塞,很漂...
阅读(37546) 评论(1)

从Apache Phoenix4.7.1升级4.8.1报错Cluster is being concurrently upgraded from 4.7.x to 4.8.x.

在CDH 5.7集群上升级Phoenix,原来是4.7.1,现在打算升级4.8.1。 步骤就按照官方文档上的说明,首先下载4.8.1的bin压缩包,解压后把server.jar(为了保险把core和client)放到hbase的lib目录下替换原有的4.7.1 jar包。CDH环境下是/opt/cloudera/parcels/CDH/lib/hbase/lib。 最后重启hbase。...
阅读(864) 评论(0)

SQOOP从Oracle导入数据到Hive时hang up在MapReduce作业过程

打算从Oracle一个模式中导入数据到Hive,打算导入的数据都存在视图里。 其他几个视图的导入过程都很顺利,有一个小坑是如果没有设置split-by column选项,只能用一个mapper(--num-mappers 1)。 基本语句为 sqoop import --hive-import --connect jdbc:oracle:thin:@//192.168.1.1:1521/or...
阅读(416) 评论(0)

Apache Kylin使用总结

Apache Kylin是一款以预处理Cube来提高查询速度的OLAP引擎。 首先对维度表做个简单的介绍。 麒麟只支持星型模型,也就是说一个事实表加上多个维度表。维度表不存在支架型结构。维度表存放的大多是描述性字段,用于筛选。其实以SQL的角度来看就是group by/filter through where 的效果。对于一个有N个维度的Cube,可以构建2的N次方个Cuboid。 最开始对...
阅读(4524) 评论(0)

CDH5.4.10 在Hive上执行Update,Delete操作报错Attempt to do update or delete using transaction manager that doe

在Hive上执行事务操作(增、删、改、查)出现FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does not support these operations.错误 已被周知的是Hive从0.14版开始支持事务操作,而CDH5.4.10总...
阅读(2351) 评论(1)

Apache Kylin部署在CDH 5.4上报错Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescr

在CDH 5.4.10集群上部署Apache Kylin,启动后访问7070端口屏幕空白,说明服务器启动但是网站没有起来。查看了下日志,报了错: Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnD...
阅读(1222) 评论(0)

Hive Hook类型

Hive在程序启动不同阶段设置了hook供用户自定义不同的行为 一共有四个阶段提供Hook以供注入定制化代码 Driver run hooks (Pre/Post)Semantic analyizer hooks (Pre/Post)Execution hooks (Pre/Failure/Post)Client statistics publisher Hive的运行流程为: ...
阅读(1105) 评论(0)

Unknown lifecycle phase "mvn". You must specify a valid lifecycle phase or a goal

用Eclipse集成的Maven打包项目时按照网上所述输入 mvn clean package遇到 Unknown lifecycle phase "mvn". You must specify a valid lifecycle phase or a goal in the format : or :[:]:. Available lifecycle phases are: validate,...
阅读(3569) 评论(0)

User root is not allowed to impersonate anonymous

使用HiveServer2 and Beeline模式运行时,启动好HiveServer后运行 beeline -u jdbc:hive2://localhost:10000 -n root 连接server时 出现 java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop....
阅读(4865) 评论(0)

org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state wo

Hive单机启动遇到metastore 未初始化错误, Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to cre...
阅读(4306) 评论(0)

一次使用Eclipse Memory Analyzer分析Tomcat内存溢出

最近在研究JVM,Eclipse里面有内存使用情况的插件,叫Eclipse Memory Analyzer。网上这篇文章对这个插件有着详细的描述。 原文地址:http://tivan.iteye.com/blog/1487855 前言 在平时开发、测试过程中、甚至是生产环境中,有时会遇到OutOfMemoryError,Java堆溢出了,这表明程序有严重的问题。我...
阅读(257) 评论(0)

SVN There are unfinished transactions detected

Eclipse SVN commit遇到There are unfinished transactions detected 错误 在Team Synchronizing View中右键项目 -> Local -> Cleanup,清除历史记录后问题解决...
阅读(5076) 评论(0)

Flume错误

Flume运行遇到Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError: GC overhead limit exceeded错误 网上搜了下,是JVM Size太小, 解决方法: 1. ps -aux|grep flume 查看刚才启动的flume进程,发...
阅读(243) 评论(0)

Kryo 为什么比 Hessian 快

Kryo 为什么比 Hessian 快...
阅读(395) 评论(0)

Hadoop平台架构--硬件篇

还记得刚接触Hadoop的时候,还是1.x版本,硬是在自己的4GB内存上面弄了3个虚拟机 学习,条件有些艰苦,Hadoop测试集群搭建不需要太多考虑,随着毕业开始进入企业,在企业中实践Hadoop,特别是一定规模的集群,逐渐涉及到硬件资源,网络规划,操作系统,软件栈等一系列问题!对于一个没有经验的小白来说,还是比较复杂的,还好公司有linux大牛配合上我从各种技术网站博客吸收的微薄知识,从0开始...
阅读(267) 评论(0)
24条 共2页1 2 下一页 尾页
    个人资料
    • 访问:81976次
    • 积分:752
    • 等级:
    • 排名:千里之外
    • 原创:16篇
    • 转载:6篇
    • 译文:1篇
    • 评论:9条
    最新评论