SPRINGBOOT-8:ODPS上传数据

最新推荐文章于 2023-02-20 16:03:44 发布

guotch

最新推荐文章于 2023-02-20 16:03:44 发布

阅读量668

点赞数

分类专栏： JAVA开发文章标签： springboot java

本文链接：https://blog.csdn.net/guotch/article/details/94602176

版权

在前一个STEP中，我们完成了ODPS的数据下载。

本blog记录如何完成上传。

    @Override
    public boolean UpdateOdps()  {
        //初始化需要录入的数据
        List<Map> List_model = read();
        TableTunnel tunnel = new TableTunnel(odps);

        Date date=new Date();//取时间
        Date yesterday = new Date(date.getTime() + -1 * 24 * 60 * 60 * 1000L);
        java.text.SimpleDateFormat format = new java.text.SimpleDateFormat("yyyyMMdd", java.util.Locale.CHINA);
        String result = format.format(yesterday);
        String partition = "ds='"+result.substring(0,8)+"'"; //patition需要的是一个表达式
        logger.info("today's partitio_updateodps: "+partition);


        // 初始化 MaxCompute 和 tunnel 的代码
        RecordWriter writer = null;
        try {
            /*PartitionSpec类表示一个特定分区的定义*/
            PartitionSpec partitionSpec = new Partition