Hive
摸鱼同学
日拱一卒,绝知此事要躬行
展开
-
Hive - 常用调优-生产调优-数据倾斜-小文件-压缩
Hive生产调优原创 2021-11-18 22:42:56 · 1181 阅读 · 0 评论 -
Hive - 传参hiveconf,hivevar
--hiveconf配置--hivevar参数--hive配置hive -e "select * from tablename" --hiveconf mapreduce.job.queuename=yarn_queuename|hive --hiveconf mapreduce.job.queuename=yarn_queuename -e "select * from tablename"hive -e "select * from tablename where biz_原创 2021-11-13 21:23:28 · 1499 阅读 · 0 评论 -
Hive - 导出文件并指定分隔符(逗号等)
语法格式beeline -n username -p password -u jdbc:hive2://host:10000 --verbose=true --showHeader=false --outputformat=tsv2 --color=true -e "select * from ${database}.${tablename}" > ${tableName}.csv通过 outputformat 指定输出格式--outputformat=[table/verti原创 2020-09-04 18:49:46 · 4229 阅读 · 0 评论 -
Hive - 动态分区操作
参考资料:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables相关参数:set hive.exec.dynamic.partition=true; (默认false)# 开启动态分区set hive.exec.dynamic.partition.mode=nonstrict; (默认strict)# 在strict模式下,用户必须至少原创 2020-06-02 17:44:10 · 354 阅读 · 0 评论 -
Hive - 数据导出方式整理
数据导出方式有以下几种hive 查询重定向到文件 通过查询将数据写入文件(insert overwrite directory) 通过beeline导出hive查询重定向:(不能指定分隔符)hive -e "select * from table_name" > /data/test/table_name.txthive查询会打印异常日志,可以通过shell过滤到异常信息hive -e "select * from table_name" |grep -v 'WARN' &.原创 2020-06-02 15:28:14 · 1754 阅读 · 0 评论 -
Hive数据导入方式整理
参考文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManualLOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablenam原创 2020-06-02 14:50:08 · 274 阅读 · 0 评论 -
Hive时间整理
from_unixtime &unix_timestamfrom_unixtime:时间戳转日期函数 返回值: stringunix_timestamp:日期转时间戳函数 返回值: bigint时间戳一般是10位数的,13位数的为毫秒级的,毫秒级时间戳直接使用from_unixtime转换需要/1000时间格式转换:select to_date(from_unixtime(unix_timestamp('20200527','yyyyMMdd'), 'yyy...原创 2020-05-27 17:30:45 · 299 阅读 · 0 评论