hive
文章平均质量分 67
xubc
IT酱油课
展开
-
hive常用sql整理
Hive常用的sql整理,方便快速查找使用1.创建Hive表CREATE TABLE if not exists edw_applications.dws_test_table ( cid string, event_code int, event_date string, house_原创 2017-02-04 16:03:31 · 1401 阅读 · 0 评论 -
hive上创建表视图
数据仓库中对有些表采用全量分区,每天一个历史镜像数据,有些数据应用系统正好使用该类型表,可以对外输出一个表视图使数据消费方不用关心是何种类型的表,在workflow中每天定时重建该视图,还可以屏蔽调度数据失败对外面的影响,即使失败数据消费方还能继续work,只是数据是前天生成的而不是最新的数据drop view if exists edw.test_tablename_view;crea原创 2017-04-25 14:50:25 · 1917 阅读 · 0 评论 -
hive 动态分区使用
hive 动态分区原创 2017-02-20 14:16:32 · 1900 阅读 · 0 评论 -
hive sql优化整理
Hive sql优化方法参数一些整理,方便快速查找使用1. map数量与reduce数量的控制 输入文件大小指实际文件大小,与文件格式textfile, ORC等无关,压缩的文件格式会小很多设置参数要适当调整--map数量控制set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;set mapr...原创 2017-02-09 12:58:46 · 1075 阅读 · 0 评论 -
hive常用函数整理
Hive常用的函数整理,方便快速查找使用1.时间戳格式化select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss');select current_timestamp;2. 时间日期大小比较(天)select datediff('2016-09-01','2016-08-01');select datediff(f原创 2017-02-09 10:53:30 · 1331 阅读 · 0 评论 -
hive orc创建出错create as select
If you try to use create-table-as-select (CTAS) statement and create a ORC File format based table, then you can't use NULL as a column value in select clauseCREATE TABLE empty (x int);CREATE TAB原创 2017-01-18 15:47:49 · 3789 阅读 · 0 评论 -
hive异常MetaException-Metastore contains multiple versions
在执行hive运行脚本时,出现了MetaException Metastore contains multiple versions异常错误在spark中使用hivecontext时也会遇到这个异常,原因在于hive的metastore表VERSION中存在重复的记录,从而报出存在多条hive版本的异常信息VER_IDSCHEMA_VERSION原创 2017-01-18 15:12:29 · 3309 阅读 · 0 评论 -
hive中分号字符引起的异常
在使用正则表达式时候解析数据时候,由输入带有分号的字符串引起的异常错误select regexp_extract(reflect("java.net.URLDecoder", "decode", event),';price=(\\d+-\\d+)(&|;)',1) from page_url;select ';price=(\\d+-\\d+)(&|;)';hive日志中报出字符异原创 2017-01-06 10:58:26 · 5770 阅读 · 0 评论 -
hive中SerDe使用
SerDe is a short name for “Serializer and Deserializer.”Hive uses SerDe (and !FileFormat) to read and write table rows.HDFS files –> InputFileFormat –> <key, value> –> Deserializer –>...原创 2018-05-07 11:21:48 · 2547 阅读 · 0 评论