Hive
syssp-F
这个作者很懒,什么都没留下…
展开
-
Hive transform + python
hive 除了用UDF 这种自定义函数来处理数据,还可以使用 transform + python记录一下:如:使用 transform+python 的方式去转换 unixtime 为 weekday########python######代码## vi weekday_mapper.py#!/bin/pythonimport sysimport datetimefor line in sys.stdin:line = line.strip()movie,rate,unix...原创 2021-07-05 14:58:57 · 433 阅读 · 0 评论 -
Hive 解析多字节分隔符的Serde
movies.dat 数据格式为: 2::Jumanji (1995)::Adventure|Children's|Fantasy,hive 正常默认是不支持多字节分隔符的,例如: 支持这种':' 不支持 这种 '::'如果需要加载上面的以::分割的数据到hive 表,那么需要用到能解析多字节分隔符的Serde即可使用RegexSerde需要两个参数:input.regex = "(.*)::(.*)::(.*)"output.format.string ...原创 2021-07-05 14:51:25 · 302 阅读 · 0 评论 -
Hive中日期处理函数的使用
Hive中日期处理函数根据平时项目中使用的日期函数,进行简单的总结:date_format:将日期进行格式化 date_add:对当前日期增加天数 date_sub:对当前日期减少天数 next_day:取当前日期的下一个周几 last_day:当前日期的最后一天...原创 2021-03-03 09:46:43 · 623 阅读 · 0 评论 -
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask错误的解决办法(图文详解)
hbase迁移数据到hive中hive创建表关联hbase表时报错CREATE EXTERNAL TABLE test01(key string,name string,age string,sex string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIE...原创 2019-11-23 17:18:53 · 7149 阅读 · 0 评论