- 博客(4)
- 问答 (6)
- 收藏
- 关注
RSS订阅原创 hive调优日常记录
hive.map.aggr=true 提升聚合效率set hive.groupby.skewindata=true 数据倾斜时负载均衡
2021-11-17 18:43:55
979
原创 hive中jion，union的大坑
在执行sql union和jion操作的时候总在报错 错误如下做了各种操作搞了一整天，最终在mapred-site.xml加了配置并在执行sql之前执行SET hive.auto.convert.join=false;set hive.exec.mode.local.auto=false;set MapReduce.queue = QUEUE_root;问题解决...
2021-08-18 16:30:03
159
原创 sed的用法
sed -i 's/foo/bar/' hello.txt如果替换字符串中有/，则吧/替换成+sed -i 's+04/Aug/2021:18+29/Jul/2021:09+g' file_name
2021-08-10 15:42:32
53
原创 记一次大坑：hadoop2.6和hive3.1.3不兼容
搞了一下午，不是hadoop报错就是hive报错，在一会nn直接挂了，后面推测可能是版本兼容的问题，换成hive2.1.1解决问题，忘了截图，打开hive执行showdatabases；报错java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormatps：.
2021-07-29 18:45:35
641
空空如也
hive写mongo的时候会在数组里的双引号自动加转义符
2021-10-28
chd6.0.1版本的hive on spark运行sql报错
2021-10-11
hive on spark运行sql报错
2021-09-28
储存压缩格式都一样的文件load到hive表不能进行操作
2021-09-13
hive2.3.8和hadoop2.6.0兼容吗
2021-08-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人