- 博客(4)
- 收藏
- 关注
RSS订阅原创 Flink -- window数据倾斜 解决思路
这里阐述一下Flink中 window间的数据倾斜的解决思路，不做代码展现 场景： 分项目统计某个时间粒度的pv数据 数据情况： 每个项目的数据量不同，某个项目的数据量很大，导致这个项目的窗口中的数据很大，发生倾斜 解决思路： 思路一： 针对window原始方式中在窗口触发前，是以数据积攒的方式进行的。所以针对这种方式可以在window后跟一个reduc...
2019-03-18 17:27:20
8826
4
原创 不同系统下，java控制台main方法参数输入的不同处理（以制表符为例）
最近在开发MR时发现，java控制台输入制表符（\t）在不同的系统下有不同的处理效果， 简直就是一个大bug测试代码如下：package test; import java.io.IOException; import java.io.UnsupportedEncodingException; import java.net.SocketException; import java.net.U...
2018-05-21 15:33:25
1637
原创 Hadoop自学笔记之：reduce端利用辅助排序手动实现连接
Hadoop自学笔记之：reduce端利用辅助排序手动实现连接1.简述：hadoop在开发过程中可能需要将输入的数据集像操作数据库时，对关系型数据库表的连接这样的操作，将输入的数据将进行连接操作
2017-12-17 17:06:58
601
原创 求回型存储的二维数组中任意位置的（java long范围内）元素值的数学算法分析及java实现
求回型存储的二维数组中任意位置的（java long范围内）元素值的数学算法分析及java实现 这和大家分享一下我的思路和实现方法：小弟学识浅薄，有不妥的地方，还请各位大神指教！！！！1. 问题描述：一组连续的自然数，“回型”的存放入一个n*n的二维数组中，求二维数组中任意坐标的存储的值 例如：存放入一个4*4的二维数组中： 传统解决方法： 先将这串连续的自然数按照规定，存入二维数组，然后再使用传统的
2017-12-10 19:44:12
629
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人