我最近在做一个flink项目,需要一个带时间戳的数据集,最好带有一定的乱序性,因为找不到合适的数据集,所以自己模拟产生数据,其中比较关键就是时间戳的产生。
首先确定一个起始时间,如我以2016-07-01 00:00:00为起始时间,然后设置一个滑动时间窗口让起始时间在窗口范围内增长,我设置一个[-10min,30min)的时间窗口,即每条数据间的时间戳在-10min和30min间增长,以10min的时间向前滑动。这样可以保证时间在大体上是向前推动的,但同时有一定的乱序性。
import org.apache.commons.lang3.RandomUtils;
import java.sql.Timestamp;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.Random;
import java.sql.Timestamp;
public class test {
public static void main(String[] args) {
long offset1 = Timestamp.valueOf("2012-01-01 00:00:00").getTime();
long end1 = Timestamp.valueOf("2012-01-01 00:10:00").getTime();
long diff1 = end1 - offset1 ;//窗口的左边界,10min
long offset2 = Timestamp.valueOf("2012-01-01 00:00:00").getTime();
long end2 = Timestamp.valueOf("2012-01-01 00:50:00").getTime();
long diff2 = end2 - offset2 ;//窗口的右边界,50min
long gap = Timestamp.valueOf("2012-01-01 00:20:00").getTime() - Timestamp.valueOf("2012-01-01 00:00:00").getTime();//以[10min,50min)-20min得到[-10min,30min)的时间窗口
long slide = Timestamp.valueOf("2012-01-01 00:10:00").getTime() - Timestamp.valueOf("2012-01-01 00:00:00").getTime();//窗口滑动的距离
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
int i = 0;
Random random = new Random();
while (i<1000){
long timeStamp = Timestamp.valueOf("2016-07-01 00:00:00").getTime() + RandomUtils.nextLong(diff1,diff2) - gap;//时间在[-10min,30min)内随机增长
diff1 = diff1 + slide;//窗口滑动
diff2 = diff2 + slide;
i++;
System.out.println("timeStamp: "+timeStamp+" 日期: "+simpleDateFormat.format(timeStamp)+"\n");
}
}
}
这样可以让数据集带有一个乱序时间戳。