SeaTunnel 2.1.2的源码解析(5)seatunnel-connectors-flink-http


本文已参与「开源摘星计划」,欢迎正在阅读的你加入。活动链接:https://github.com/weopenprojects/WeOpen-Star


提示:以下是本篇文章正文内容,下面源码分析可供参考,如有出错请指正!

一、seatunnel-connectors-flink-http

1.总览

seatunnel-connectors-flink-http

2.源码分析

这里是SeaTunnel项目http连接的数据源端模块,可以读入基于http协议封装的数据接口。pom.xml引用依赖如下:
seatunnel-connectors-flink-http

Http类的getData()函数如下:

    public DataSet<Row> getData(FlinkEnvironment env) {
    	//从文件路径读请求参数
    	//文件路径格式, as a URI (e.g., "file:///some/local/file" or "hdfs://host:port/file/path")
        String syncValues = getSyncValues(env.getBatchEnvironment(), syncPath);
        LOG.info("sync values->{}", syncValues);
        //将json格式字符串的请求参数转换HashMap
        Map syncMap = jsonToMap(syncValues);
        if (!syncMap.isEmpty()) {
            requestMap.putAll(syncMap);
        }
        HttpClientResult response = new HttpClientResult();
        try {
            Map headerMap = jsonToMap(header);
            if (POST.equals(method)) {
                //发送Post请求
                response = HttpClientUtils.doPost(url, headerMap, requestMap);
            } else {
                //发送Get请求
                response = HttpClientUtils.doGet(url, headerMap, requestMap);
            }
        } catch (Exception e) {
            LOG.error("http call error!", e);
            throw new RuntimeException(e);
        }

        LOG.info("http respond code->{}", response.getCode());
        LOG.info("http respond body->{}", response.getContent());
		//返回数据集
        return env.getBatchTableEnvironment().toDataSet(
            env.getBatchTableEnvironment().fromValues(
                DataTypes.ROW(DataTypes.FIELD("rawMsg", DataTypes.STRING())),
                response.getContent()
            ),
            Row.class
        );
    }

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值