Nifi--从Mysql抛转数据到Elasticsearch

Nifi–从Mysql抛转数据到Elasticsearch

1. 概览

2. QueryDatabaseTable

1. SCHEDULING —> Run Schedule需要设置大一点，否则会频繁查询数据库；
   

2. Database Connection Pooling Service 第一次创建没有连接池，可以新增一个DBCP连接池；
   
   

3. 创建连接池以后，点击右侧Go To按钮配置连接信息，包含：连接地址、驱动、驱动jar包地址、用户名、密码。配置完成后将状态置为Enable;

4. Table Name 配置表名；Custom Query 配置查询语句;
   

   5. QueryDatabaseTable和PutElasticsearchRecord之间的连接(Connection)配置如下：

      • 连接创建成功后，如果是集群，Load Balance Strategy可以设置为轮询策略；

      • Load Balance Compression可以配置为属性和内容加密传输；

3. PutElasticsearchRecord

1. Index配置index名称，Type选填；Client Server 选择ElasticSearchClientServiceImpl，配置连接地址以后，设为Enable状态；

2. Record Reader 选择AvroReader，因为QueryDatabaseTable读取的是avro格式，状态设为Enable

3. Relationships 除了success以外都勾选，若想对其他情况单独处理也可以；

4. PutElasticsearchRecord和LogAttribute之间的连接(Connection)勾选success

4. LogAttribute

1. RelationShips勾选success