Flume采集日志增量式的写进Cratedb

Flume采集日志写进Cratedb

场景：公司中的日志存放与本地文件中，查看日志需要按关键字去查找，没办法多条件查询（如要按日期和查找出错误日志）。
实现：
1、安装flume，修改jdk环境配置。
2、安装cratedb。
3、编写自定义sink，并打包，放到flume安装包下的lib下。（编写自定义sink实现使用crate的jdbc去存储数据）
4、编写flume配置，启动flume。（flume中有插件TAILDIR可以实现增量式抓取，可断点续传）

下图是cratedb的可视化界面，查询日志。