在SparkStreaming任务中,可以使用DirectKafkaInputDStream中的messageHandler功能对接受到的kafka数据做下预处理,接口声明如下图:
最近就收到一个需求,很简单:如果kafka中的原数据类似于【a,b,1:2:3,d】,但想要将数据的[1:2:3]字段拆开分别跟其他字段组成一个字符串,如:
【a,b,1,d】
【a,b,2,d】
【a,b,3,d】
这时就可以使用messageHandler对原数据做处理,实现主要代码如下:
在SparkStreaming任务中,可以使用DirectKafkaInputDStream中的messageHandler功能对接受到的kafka数据做下预处理,接口声明如下图:
最近就收到一个需求,很简单:如果kafka中的原数据类似于【a,b,1:2:3,d】,但想要将数据的[1:2:3]字段拆开分别跟其他字段组成一个字符串,如:
【a,b,1,d】
【a,b,2,d】
【a,b,3,d】
这时就可以使用messageHandler对原数据做处理,实现主要代码如下: