hive
文章平均质量分 55
oO寒枫Oo
专注spark hadoop mysql
展开
-
相对于hive-0.8.1 hive-0.11.0新增的内置函数
下面是 0.11.0新增的内置函数。可以看到 row_number() rank() 等一些我们经常在sql中使用的函数在 新的hive版本中已经可以直接使用了!新增的函数列表如下:assert_true between compute_stats cume_dist den原创 2013-09-06 16:41:25 · 2486 阅读 · 0 评论 -
hive 函数参数产生的错误:Hive Runtime Error while processing row {"sys":"0"}
函数参数用错 产生的错误:select from_unixtime(unix_timestamp(),'YYYY-mm-dd') from default.dual; Diagnostic Messages for this Task:java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveExcep原创 2013-12-24 13:56:14 · 27894 阅读 · 0 评论 -
hive的几种文件格式
hive文件存储格式1.textfiletextfile为默认格式存储方式:行存储磁盘开销大 数据解析开销大压缩的text文件 hive无法进行合并和拆分2.sequencefile二进制文件,以的形式序列化到文件中存储方式:行存储可分割 压缩一般选择block压缩优势是文件和hadoop api中的mapfile是相互兼容的。3.rcfile原创 2014-01-20 14:31:51 · 19693 阅读 · 0 评论 -
java.io.IOException: java.lang.reflect.InvocationTargetException 问题的解决
执行select * from tb where createtime >= '2014-02-13' and createtime 抱下列错误: Error during job, obtaining debugging information...Job Tracking URL: http://192-168-102-155:50030/jobdetails.js原创 2014-02-17 19:34:09 · 24067 阅读 · 0 评论 -
hive中的wm_concat 同列非数字字符串的拼接
oracle:http://blog.csdn.net/lxpbs8851/article/details/7179291 之前写了个中oracle 不支持 wm_concat 的解决办法。 现在在hive中遇到同样的问题,该如何解决?sys_region(id,name)1 a 1 b 2 c 2 d原创 2013-12-19 17:22:19 · 12313 阅读 · 0 评论 -
org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row
java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesinkkey0":"00.26.37.E3.07.D3","reducesinkkey1":"2014-07-07原创 2014-09-03 12:00:46 · 28332 阅读 · 0 评论 -
hive 日期函数小结
1.to_date(expr) - Extracts the date part of the date or datetime expression expr原创 2014-09-16 16:14:32 · 51889 阅读 · 0 评论 -
hive函数 -- stddev , stddev_pop , stddev_samp , var_pop , var_samp
标准差是方差开方后的结果(即方差的算术平方根)假设这组数据的平均值是m 方差公式s^2=1/n[(x1-m)^2+(x2-m)^2+...+(xn-m)^2]原创 2014-09-16 15:12:57 · 46692 阅读 · 0 评论 -
HIVE 分区表添加字段后的奇怪现象
情况:表: test_table已有字段 (a,b,c)已有分区:day_key=20131201day_key=20131202day_key=20131203需求是需要添加一个字段d并且重新生成 所有分区的数据步骤1.添加字段:alter table test_tableadd columns (d string);2.执行语句...原创 2013-12-04 15:01:03 · 17127 阅读 · 6 评论 -
hive中 日期格式转化办法小记
hive中 日期格式转化办法:2014-11-10 和 20141110相互转化的办法:1.from_unixtime && unix_timestamp-- 20141110select from_unixtime(unix_timestamp('2014-11-10','yyyy-mm-dd'),'yyyymmdd') from default.dual;-- 2014-1原创 2014-11-10 15:42:37 · 16627 阅读 · 0 评论 -
org.apache.hive.com.esotericsoftware.kryo.kryoexception: encountered unregistered class id 错误解决办法
执行hive 任务的时候 有些任务会报下列错误 hive 0.14 + 版本才会有这个问题,任务重做之后可能又会成功。1.错误信息:hdfs://nameservice1/tmp/hive/dbs/9c29873a-664f-45a4-87f5-aab6601b9661/hive_2015-09-22_14-51-49_927_648109380558598376-11/-mr-100原创 2015-09-22 15:32:38 · 20233 阅读 · 0 评论 -
FAILED: ParseException line mismatched input '<EOF>' expecting StringLiteral near 'by' in
HIVE创建表的时候报错,错误信息如下: MismatchedTokenException(-1!=282) at org.antlr.runtime.BaseRecognizer.recoverFromMismatchedToken(BaseRecognizer.java:617) at org.antlr.runtime.BaseRecognizer原创 2013-09-10 14:53:47 · 73716 阅读 · 4 评论 -
hive错误:Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Permission denied
用不同用户去登录hive 可能会报如下错误:Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Permission denied at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.ja原创 2016-04-27 21:58:41 · 15089 阅读 · 0 评论 -
FAILED: InvalidConfigurationException hive.server2.authentication can't be none in non-testing mode
在cloudera manager里面配置hive + sentry启动hiveserver2 执行命令 show roles 报错: Caused by: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: InvalidConfigurationExce原创 2016-05-22 18:26:56 · 5429 阅读 · 4 评论 -
hive 小文件的合并 hive.merge.mapredfiles
起因:最近仓库里面新建了一张分区表,数据量大约是12亿行,分区比较多,从2008年7月开始 一天一个分区。配置了一个任务 对这个表进行group by 的时候 发现启动了2800多个maps .执行的时间也高大10分钟。然后我在hdfs文件里面看到 这个表的每个分区里面都有20多个小文件,每个文件都不大 300KB--1MB 之前的hive的参数:hive.merg原创 2014-01-03 16:15:04 · 13428 阅读 · 0 评论 -
Error: java.lang.NullPointerException at java.util.concurrent.ConcurrentHashMap.get
问题纪要:tb表 是hive中任何一张表,不同版本的hive ,将元数据库修改为derby也抱相同的错误。/etc/hosts 也修改过 IP地址对于主机名。hive执行 select * from tb; 不抱错但是执行select count(*) frm tb 报错:错误信息:Diagnostic Messages for this Task:Error: ja原创 2013-09-18 21:11:46 · 13831 阅读 · 0 评论 -
log4j:ERROR Could not instantiate class [org.apache.hadoop.hive.shims.HiveEventCounter].
去掉 hive-log4j.properties 配置文件 HIVE 将会报错,但是并不影响hive的使用:,错误信息:log4j:ERROR Could not instantiate class [org.apache.hadoop.hive.shims.HiveEventCounter].java.lang.RuntimeException: Could not load shi原创 2013-09-26 11:03:13 · 8991 阅读 · 6 评论 -
(hive union)FAILED: SemanticException 1:14 Top level UNION is not supported currently
HIVE 中的 union 在最顶层的sql中是不支持的如:表结构:(0.11.0支持show create table)hive> show create table mhfs_role;OKCREATE TABLE mhfs_role( pt string, cnt int)ROW FORMAT SERDE 'org.apache.hadoop.原创 2013-09-06 16:58:11 · 5014 阅读 · 0 评论 -
SequenceFile doesn't work with GzipCodec without native-hadoop code的解决办法
前几天将hive的版本由 0.8.1升级到 0.11.0 ,新版本新增了很多内置函数,执行效率比之前也有了一定的提升,但是有新的问题产生,问题如下: create table tab1 ( id int, name string ); create table tab2 ( id int );原创 2013-09-10 11:36:03 · 3805 阅读 · 0 评论 -
hive导出查询文件到本地文件的2种办法
通过HQL语句 可以将hive 中表的数据生成到指定的目录。有时候 我们可以利用hive来生成统计的中间文件(比源文件小的多的)方法有如下2种: 1.INSERT OVERWRITE LOCAL DIRECTORY将结果输出到指定的目录:生成的文件数 和redurcer的数目的一样的在hive下面执行INSERT OVERWRITE LOCAL DIRECTO原创 2012-12-24 16:49:59 · 5347 阅读 · 0 评论 -
HIve升级到新版本过程
1:将原有的hive改名为hive_backup2:将原有hive中的conf文件夹全部复制到新版本hive中3:修改hive-conf.sh 文件 添加HADOOP_HOME 4:相关第三方的包要转移到新的hive版本lib目录下5:首先要把之前的10000端口对应的线程kill掉,然后 $HIVE_PORT=10000 bin/hive --servic原创 2013-08-07 10:42:05 · 4343 阅读 · 1 评论 -
hive 数据倾斜总结
数据倾斜总结 在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage的reduce原创 2013-08-07 10:53:09 · 1111 阅读 · 0 评论 -
hive 配置参数说明
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true,当输入文件大小小于此阈值时可以自动在本地模式运行,默认是原创 2013-07-24 10:23:05 · 2083 阅读 · 0 评论 -
hive 终端产生的问题
FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.NestedThrowables:java.sql.SQLException: Failed to start原创 2012-12-18 12:07:31 · 1804 阅读 · 0 评论 -
hive升级步骤详解(hive-0.7.1到hive-0.11.0)
步骤如下:1.关闭当前hive正在执行的进程,service hive-server等2.备份mysql数据库hive库mysqldump -uroot -phive hive > schem_hive-0.7.1.sql这个用于升级失败之后的回滚。3.修改环境变量,主要是HIVE_HOME4.解压0.11.0的安装包,进入目录: ${HIVE_HOME}/script原创 2013-09-04 15:54:47 · 7135 阅读 · 2 评论 -
hive 权限:Authorization failed:No privilege 'Create' found for outputs
创建表报错:create table test(name string);Authorization failed:No privilege 'Create' found for outputs { database:dbname}. Use show grant to get more details. 解决办法:hive> set; 用户:原创 2013-09-12 19:57:09 · 18161 阅读 · 0 评论 -
org.apache.hadoop.security.AccessControlException 解决办法
用其他用户访问hive 的时候 报错信息:FAILED: RuntimeException org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=dbs, access=WRITE, inode原创 2013-09-13 13:56:36 · 15885 阅读 · 2 评论 -
WARN conf.HiveConf: DEPRECATED: Configuration property hive.metastore.local no longer has any effect
警告信息:WARN conf.HiveConf: DEPRECATED: Configuration property hive.metastore.local no longer has any effect.Make sure to provide a valid value for hive.metastore.uris if you are connecting to a re原创 2013-09-16 10:27:30 · 6334 阅读 · 0 评论 -
Hive的启动问题和解决办法
原文地址: http://blog.csdn.net/lxpbs8851/article/details/7991931./hive 进入到hive 然后show tables 得到下面的错误信息。hive> show tables;FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Communicat原创 2012-09-18 15:26:48 · 7255 阅读 · 0 评论 -
HIVE排序函数大小写敏感
hive版本: 0.11.0在执行dense_rankhive语句:select DENSE_RANK() OVER(PARTITION BY mcc ORDER BY app_id) AS flag from dm.test_tablewhere 1=1;HIVE的报错信息如下: FAILED: SemanticException Failed to brea原创 2013-10-10 16:55:14 · 16765 阅读 · 0 评论 -
hive & hue 中文乱码的问题
2个的乱码问题 都是由元数据库的 某些字段的字符集导致的。一、HIVE的乱码问题在元数据库执行以下语句:alter database hive character set latin1;alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TA原创 2016-07-01 11:48:29 · 10544 阅读 · 1 评论