hive中SerDe使用

SerDe is a short name for “Serializer and Deserializer.”Hive uses SerDe (and !FileFormat) to read and write table rows.HDFS files –> Input...

2018-05-07 11:21:48

阅读数 1210

评论数 0

hive上创建表视图

数据仓库中对有些表采用全量分区,每天一个历史镜像数据,有些数据应用系统正好使用该类型表,可以对外输出一个表视图使数据消费方不用关心是何种类型的表,在workflow中每天定时重建该视图,还可以屏蔽调度数据失败对外面的影响,即使失败数据消费方还能继续work,只是数据是前天生成的而不是最新的数据 d...

2017-04-25 14:50:25

阅读数 627

评论数 0

hive 动态分区使用

hive 动态分区

2017-02-20 14:16:32

阅读数 1328

评论数 0

hive sql优化整理

Hive sql优化方法参数一些整理,方便快速查找使用1. map数量与reduce数量的控制    输入文件大小指实际文件大小,与文件格式textfile, ORC等无关,压缩的文件格式会小很多设置参数要适当调整--map数量控制 set hive.input.format=org.apache...

2017-02-09 12:58:46

阅读数 767

评论数 0

hive常用函数整理

Hive常用的函数整理,方便快速查找使用 1.时间戳格式化 select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss'); select current_timestamp; 2. 时间日期大小比较(天) select datediff...

2017-02-09 10:53:30

阅读数 1010

评论数 0

hive常用sql整理

Hive常用的sql整理,方便快速查找使用 1.创建Hive表 CREATE TABLE if not exists edw_applications.dws_test_table ( cid string, event_code ...

2017-02-04 16:03:31

阅读数 972

评论数 0

hive orc创建出错create as select

If you try to use create-table-as-select (CTAS) statement and create a ORC File format based table, then you can't use NULL as a column value in sel...

2017-01-18 15:47:49

阅读数 1613

评论数 0

hive异常MetaException-Metastore contains multiple versions

在执行hive运行脚本时,出现了MetaException Metastore contains multiple versions异常错误 在spark中使用hivecontext时也会遇到这个异常,原因在于hive的metastore表VERSION中存在重复的记录,从而报出存在多条hiv...

2017-01-18 15:12:29

阅读数 2582

评论数 0

hive中分号字符引起的异常

在使用正则表达式时候解析数据时候,由输入带有分号的字符串引起的异常错误 select regexp_extract(reflect("java.net.URLDecoder", "decode", event),';price=(\\d+-\\d+)(&a...

2017-01-06 10:58:26

阅读数 2725

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭