flink sql 部署_使用Flink SQL实时分析日志信息

本文介绍了如何使用Flink SQL配置数据源对接阿里云DIS,以及设置输出源对接OBS,进行实时日志分析。SQL查询示例展示了从日志中提取关键信息并进行数据转换的过程。
摘要由CSDN通过智能技术生成

source数据源:在with 语句中配置,实现与DIS的“input-dis”通道对接,使CS服务可以从“input-dis”通道实时获取数据。需要配置以下参数:type = "dis" :类型选择dis。

region = "cn-north-1" :作业所在的区域, cn-north-1 表示华北-北京一区域。

channel = "input-dis" :DIS通道名称。

partition_count = "1" :DIS通道的分区数。

encode = "csv" :数据编码方式,选择CSV。

field_delimiter = "\\|\\|" :当编码格式为CSV时,属性之间的分隔符。

quote = "\u005c\u0022" :指定数据格式中的引用符号,在两个引用符号之间的属性分隔符会被当做普通字符处理。当引用符号为双引号时,请设置quote = "\u005c\u0022"进行转义。

offset = "0" :偏移量,offset="0"时,表示CS服务从DIS服务的第0条数据开始处理。

详细信息请参见配置DIS输入流。

sink输出源:在with 语句中配置,实现与OBS桶对接,使CS服务能将处理结果输出到OBS桶中。需要配置以下参数:type = "obs" :类型选择obs

region =

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值