- 博客(4)
- 收藏
- 关注
RSS订阅
1原创 hive优化分享第一弹！
'你是做大数据的，应该很会优化吧（滑稽的笑）' -- 今天被朋友问了这个问题简直是贴标签！我只想说，，，方法实在太多了！！！什么！！你还不会优化！！！来！！我来分享一点我觉得有用的东西！
2024-01-14 20:48:26
852
原创 code 2 问题-map端jion优化
我出现的问题是发现是本应该触发map端join的优化没有触发，是因为小表用户表的数据量变大了，超过了20M没有触发map端join，所以将小表阈值20M改成了30M。"Job failed due to a stage failure"：这个错误表示某个阶段的任务失败了，可能是由于数据处理逻辑错误、资源不足等原因引起的。在此过程中发现maptask处理的数据量大小设置在320M效率是最高的，所以当时就调整了这个参数，成功执行！查找相应的任务日志：在日志目录中，找到与目标任务相关的日志文件，通常以。
2024-01-14 20:18:24
413
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人