hive
黑肚皮的窝
这个作者很懒,什么都没留下…
展开
-
hive 设置的坑
集成mysql,运行hive。出现: FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient FAILED: Execution Error, return code 1 from o原创 2013-05-22 15:19:02 · 6754 阅读 · 0 评论 -
hbase->phoenix不得不说的故事之一
用hbase来接收数据,phoenix进行sql统计,看起来很美好,实际波折很多。首先建表 CREATE TABLE m_interface_job( data.pk_log VARCHAR ,.......... id INTEGER not null primary key) ;用hbase插入,发现 select id,* from原创 2013-06-17 17:21:09 · 7825 阅读 · 3 评论 -
Hive HA参加阿里云大赛,请大家投票支持
Hive HA 参加2013阿里云大赛,请兄弟姐妹们支持!详细说明见前前面博客。投票地址:http://dasai.aliyun.com/signup/works2013/?search=471原创 2013-09-23 09:56:52 · 1699 阅读 · 0 评论 -
Hive的坑
公司集群做了一个迁移。但不久以后,发现,从hive的cli执行命令到从phphiveadmin执行命令,都出现错误。错误如下:-----Diagnostic Messages for this Task:java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.had原创 2013-10-18 15:58:49 · 5272 阅读 · 0 评论 -
hive学习笔记
下面就是我给大家总结的hive学习笔记 大家有什么不懂得可以参考参考!1. HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许转载 2015-03-06 10:17:46 · 3575 阅读 · 0 评论 -
组合pig和hive来进行数据分析
接到产品一个任务,需要对使用产品的用户操作系统来个分析。对清洗后的hive数据进行分析,发现,数据恰恰把操作系统数据进行了过滤,只有到rawlog里去进行数据分析了。但由于rawlog没有和数据库进行关联,就只有先对rawlog进行初步手工清洗,不清洗掉操作系统数据,再建hive临时表来解决了。第一步,用pig进行数据初步清洗,上代码REGISTER 'elephant-bird-原创 2015-03-31 17:37:54 · 4448 阅读 · 0 评论