风清若淡的博客

streamset绘制全量同步流程图PS：在操作数据库的insert 和 update 类型的时候，为了避免ES 目标端写入错误，可以使用upsert方式。1、ES入门知识点Elasticsearch 简称ES，是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。一图胜万言2、完成数据采集及建立索引我们数据全部来自MySql，streamset读取MySql的Bi

StreamSet 介绍Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。最大的特点有：1、可视化界面操作，可以直观排查错误；2、 内置监控，可是实时查看数据流传输的基本信息和数据的质量；3、强大的整合力，对现有常用组件全力支持。StreamSet 安装1. Docker 安装2. RPM 安装...