logstash
LSY_csdn_
交流请联系QQ:1174928874
展开
-
ELK生态系统——es集群化各方面数据使用详图
es集群化各方面数据使用如上图所示,图解如下:1、RDBMS(关系型数据库):常见的关系型数据库比如:mysql、oracle、国产达梦、gbase等数据库,在这些关系型数据库之间数据可以通过kettle使用jdbc连接访问到数据库读取到数据,可以灵活自由的实现RDBMS之间数据跨库迁移、处理、关联等常用操作。2、logstash数据处理工具:logstash是处理RDBMS(...原创 2019-06-18 20:54:28 · 594 阅读 · 0 评论 -
ELK生态系统——logstash安装(单机)
目录1、软件下载:2、安装环境:3、创建目录:4、软件安装:5、配置文件:(1)配置运行内存大小:(2)配置运行日志输出级别:(3)配置运行日志文件存放位置:6、使用测试:(1)命令行测试使用:(2)调用conf文件测试使用:说明:logstash是一种数据抽取工具,主要是通过jdbc将数据从关系型数据库抽入到es中。1、软件下载:ht...原创 2019-06-11 08:21:21 · 319 阅读 · 0 评论 -
ELK生态系统——全量数据从RDBMS到ES迁移
目录1、手动全量导入数据:(1)创建*.conf格式配置文件:(2)修改*.conf文件格式:(3)部署*.conf文件到服务器:(4)后台运行*.conf文件迁移数据:(5)查看es中导入的数据:2、创建索引别名:注意:如果es中mappring是自己手动创建的那就没问题了,如果es中mappring自己不创建,需要es根据导入的数据自动创建,那么要检查要导...原创 2019-06-12 08:28:15 · 240 阅读 · 0 评论 -
ELK生态系统——增量数据从RDBMS到ES迁移
目录1、增量同步数据mysql到es思路:2、增量同步操作具体步骤:(1)创建mysql前置表:(2)创建logstash数据同步配置文件:A、配置jdbc连接mysql信息:B、配置时区编码SQL常用信息:C、配置定时增量同步数据信息:D、配置数据在es中存储index和type信息(附加):E、配置数据输出到elasticsearch的信息:log...原创 2019-06-12 08:28:34 · 363 阅读 · 0 评论 -
ELK生态系统——logstash使用一般流程
目录1、logstash一般整体工作流程:(1)定义.conf配置文件:(2)查看logstash已安装插件:(3)安装logstash插件:(4)执行logstash命令:(5)查看执行结果数据:2、Logstash的codec(通用)插件:3、Logstash的input(数据来源)插件:4、Logstash的filter(数据过滤)插件:5、Logst...原创 2019-06-13 08:18:41 · 1002 阅读 · 0 评论 -
ELK生态系统——shell脚本定时执行logstash命令同步增量数据到es
1、需求目的:关系型数据库与elasticsearch之间的数据同步可通过logstash实现,并且logstash可全量、增量同步数据。全量同步数据值需要手动执行一次即可,但是增量同步数据需要定时执行,logstash的配置conf配置文件中jdbc连接可以配置定时表达式,但是本人感觉不太直观,所以conf配置文件中不配置定时表达式,通过shell脚本定时执行logstash命令来完成定时增...原创 2019-07-03 21:24:14 · 1977 阅读 · 0 评论