java模拟乱序数据流中的时间戳

最新推荐文章于 2024-08-16 23:08:28 发布

生如之舟

最新推荐文章于 2024-08-16 23:08:28 发布

阅读量415

点赞数 1

文章标签： java 开发语言大数据

本文链接：https://blog.csdn.net/weixin_51183633/article/details/128260299

版权

我最近在做一个flink项目，需要一个带时间戳的数据集，最好带有一定的乱序性，因为找不到合适的数据集，所以自己模拟产生数据，其中比较关键就是时间戳的产生。

首先确定一个起始时间，如我以2016-07-01 00:00:00为起始时间，然后设置一个滑动时间窗口让起始时间在窗口范围内增长，我设置一个[-10min,30min)的时间窗口，即每条数据间的时间戳在-10min和30min间增长，以10min的时间向前滑动。这样可以保证时间在大体上是向前推动的，但同时有一定的乱序性。

import org.apache.commons.lang3.RandomUtils;
import java.sql.Timestamp;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.Random;
import java.sql.Timestamp;
public class test {
    public static void main(String[] args) {
        long offset1 = Timestamp.valueOf("2012-01-01 00:00:00").getTime();
        long end1 = Timestamp.valueOf("2012-01-01 00:10:00").getTime();
        long diff1 = end1 - offset1 ;//窗口的左边界，10min

        long offset2 = Timestamp.valueOf("2012-01-01 00:00:00").getTime();
        long end2 = Timestamp.valueOf("2012-01-01 00:50:00").getTime();
        long diff2 = end2 - offset2 ;//窗口的右边界，50min

        long gap = Timestamp.valueOf("2012-01-01 00:20:00").getTime() - Timestamp.valueOf("2012-01-01 00:00:00").getTime();//以[10min,50min)-20min得到[-10min,30min)的时间窗口

        long slide = Timestamp.valueOf("2012-01-01 00:10:00").getTime() - Timestamp.valueOf("2012-01-01 00:00:00").getTime();//窗口滑动的距离

        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        int i = 0;
        Random random = new Random();

        while (i<1000){
            long timeStamp = Timestamp.valueOf("2016-07-01 00:00:00").getTime() + RandomUtils.nextLong(diff1,diff2) - gap;//时间在[-10min,30min)内随机增长

            diff1 = diff1 + slide;//窗口滑动
            diff2 = diff2 + slide;
            i++;

            System.out.println("timeStamp: "+timeStamp+" 日期: "+simpleDateFormat.format(timeStamp)+"\n");
        }
    }
}

这样可以让数据集带有一个乱序时间戳。