部分用法的官方链接:
https://streamsets.com/documentation/datacollector/3.21.x/help/index.html
中文站:
http://streamsets.vip/
一、rabbitMq
测试用:
二、rabbitMq Consumer配置
三、中间流设置
3.1 结构化数据
例如:
A|B|C
a,b,c
3.2 非结构化,但数据结构一致。比如一些服务器日志,nginx日志等
对于这种日志一般使用正则进行匹配
streamsets是支持 Grok Pattern
官方链接中文版:
http://streamsets.vip/?page_id=175
官方链接英文版:
https://streamsets.com/documentation/datacollector/3.21.x/help/datacollector/UserGuide/Apx-GrokPatterns/GrokPatterns_title.html?hl=grok%2Cpatterns
4、输入层mysql