hive
玉雨钰瑜
这个作者很懒,什么都没留下…
展开
-
hive优化
主要是为了记录一些hive端碰到和见到的优化信息1. map阶段输出数据压缩 ,在这个阶段,优先选择一个低CPU开销的算法。set hive.exec.compress.intermediate=trueset mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodecset mapred.map.output.compression.codec=com.hadoop.compression.lzo.L原创 2021-11-12 17:27:25 · 723 阅读 · 0 评论 -
hive添加udf函数
1,临时函数 重启hive后函数失效1)首先在hive中添加jar包 出现added就是成功了hive (default)> add jar /opt/hiveudf2.jar ;Added [/opt/hiveudf2.jar] to class pathAdded resources: [/opt/hiveudf2.jar]2)创建函数CREATE TEMPORARY FUNCTION 定义函数名称 as udf打包的jar中你的函数的路径 hive (default原创 2021-04-10 15:34:35 · 872 阅读 · 0 评论 -
hive使用时一些常见函数
几个常用的时间函数date_add(A,B) 时间函数 date_add(‘2021-03-18’,-1) -->2021-03-17 当是负数时可以有date_sub(A,B)date_format(date,‘yyyy-MM’) 时间格式化last_day(A) 获取时间A的月份的最后一天next_day(A,‘B’) 获取时间A的下一个时间星期几B的时间 B可以是英语星期的缩写 MO星期一 Monday,Tuesday,Wednesday,Thursday,Friday,Satur原创 2021-03-18 16:07:31 · 126 阅读 · 0 评论 -
记录一次hive包整体更新替换问题
hive3.1.2整体解压替换之前hiveFAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me错误如果你整体解压替换后,你的hive的配置文件依旧是原来的,看起来好像没有问题,毕竟只是配置hive的mysql元数据之类的信息,但是报错FAILED: HiveException java.lang.RuntimeException: Unable to in原创 2021-03-05 23:04:39 · 505 阅读 · 0 评论