- 博客(5)
- 收藏
- 关注
RSS订阅
1原创 MR数据倾斜问题
数据倾斜出现现象job运行时间长或者直接宕机数据倾斜出现原因数据本身的问题分区逻辑（可能取模之后就直接分配不均衡）key倾斜（有一个key的值数量多取模之后它的分区数据自然也多）数据倾斜解决方法重写分区逻辑增加reduce个数避免shuffle map端直接输出结果如果是文件本身问题先用mr过滤将文件在去求最终结果如果数据过大增加内存...
2021-09-18 21:31:08
458
原创 小张笔记 hive函数
一、关系运算： 1. 等值比较: = 2. 等值比较:<=> 3. 不等值比较: <>和!= 4. 小于比较: < 5. 小于等于比较: <= 6. 大于比较: > 7. 大于等于比较: >= 8. 区间比较 9. 空值判断: IS NULL 10. 非空判断: IS NOT NULL 11. LIKE 比较: LIKE 12. JAVA 的 LIKE 操作: RLIKE 13.
2021-09-18 21:09:37
181
原创 Hbase-JAVA客户端 依赖
添加依赖 <dependencies> <!--zookeeper--> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.6</vers
2021-09-11 21:02:34
318
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人