source数据源:在with 语句中配置,实现与DIS的“input-dis”通道对接,使CS服务可以从“input-dis”通道实时获取数据。需要配置以下参数:type = "dis" :类型选择dis。
region = "cn-north-1" :作业所在的区域, cn-north-1 表示华北-北京一区域。
channel = "input-dis" :DIS通道名称。
partition_count = "1" :DIS通道的分区数。
encode = "csv" :数据编码方式,选择CSV。
field_delimiter = "\\|\\|" :当编码格式为CSV时,属性之间的分隔符。
quote = "\u005c\u0022" :指定数据格式中的引用符号,在两个引用符号之间的属性分隔符会被当做普通字符处理。当引用符号为双引号时,请设置quote = "\u005c\u0022"进行转义。
offset = "0" :偏移量,offset="0"时,表示CS服务从DIS服务的第0条数据开始处理。
详细信息请参见配置DIS输入流。
sink输出源:在with 语句中配置,实现与OBS桶对接,使CS服务能将处理结果输出到OBS桶中。需要配置以下参数:type = "obs" :类型选择obs
region =