streamsets3.21 Elasticsearch数据处理，输入到kudu、mysql

最新推荐文章于 2024-05-08 00:44:52 发布

Mua回眸

最新推荐文章于 2024-05-08 00:44:52 发布

阅读量615

点赞数

文章标签： cloudera mysql elasticsearch

本文链接：https://blog.csdn.net/kkHMou/article/details/115666694

版权

部分用法的官方链接：
https://streamsets.com/documentation/datacollector/3.21.x/help/index.html
中文站：
http://streamsets.vip/

上一篇文章写了mysql实时同步kudu，链接放这里
https://blog.csdn.net/kkHMou/article/details/115330489

在这里插入图片描述

在这里插入图片描述

{
	"sort": [
		{
			"logTime": {
				"order": asc
			}
		}
	],
	"query": {
		"range": {
			"logTime": {
				"gt": ${OFFSET}
			}
		}
	}
}

作为offset的字段上下文保持一致就行

在这里插入图片描述

我这里使用Field Type Converter的原因是我es这个索引的时间字段格式不能直接存入kudu、mysql，所以需要转化一下。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

注意一点：kudu中的字段名所有大写都是自动转化成小写，建表的时候写的大写，也会转成小写。

前面都是一样的
在这里插入图片描述
…?useUnicode=true&characterEncoding=utf-8

注：如果这里运行提示 Max Column，看看你数据库的表和你的配置是否保持字段一致，再看看你的es字段(SDC Field)是否写的有问题，有时候这个字段会读取不到

关注