Nifi–从Mysql抛转数据到Elasticsearch
1. 概览
2. QueryDatabaseTable
-
SCHEDULING —> Run Schedule需要设置大一点,否则会频繁查询数据库;
-
Database Connection Pooling Service 第一次创建没有连接池,可以新增一个DBCP连接池;
-
创建连接池以后,点击右侧Go To按钮配置连接信息,包含:连接地址、驱动、驱动jar包地址、用户名、密码。配置完成后将状态置为Enable;
-
Table Name 配置表名;Custom Query 配置查询语句;
-
QueryDatabaseTable和PutElasticsearchRecord之间的连接(Connection)配置如下:
-
连接创建成功后,如果是集群,Load Balance Strategy可以设置为轮询策略;
-
Load Balance Compression可以配置为属性和内容加密传输;
-
-
3. PutElasticsearchRecord
- Index配置index名称,Type选填;Client Server 选择ElasticSearchClientServiceImpl,配置连接地址以后,设为Enable状态;
- Record Reader 选择AvroReader,因为QueryDatabaseTable读取的是avro格式,状态设为Enable
- Relationships 除了success以外都勾选,若想对其他情况单独处理也可以;
- PutElasticsearchRecord和LogAttribute之间的连接(Connection)勾选success
4. LogAttribute
- RelationShips勾选success