Logstash 数据同步(自带百度网盘链接)

Logstash 数据同步

1.1 概述

Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到Elasticsearch中

Logstash 采用可插拔框架，拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排，让它们在管道中和谐地运行

官网下载地址: https://www.elastic.co/cn/downloads/past-releases#logstash

百度网盘地址: https://pan.baidu.com/s/1HW97yGKMd1ayPsyRKi8ewA

提取码:oex1

1.2 安装:

1.3 数据同步

Logstash的工作是从MySQL中读取数据，向ES中创建索引，这里需要提前创建mapping的模板文件以便logstash使用

步骤一: 根据Mysql进行配置导入jar包,拷贝数据库驱动

连接:https://pan.baidu.com/s/1zUMfzZZL4J5RVsidnHtUdQ

提取码: kx68

步骤二：创建

config/xc_course_mysql.conf ，用于描述从哪个数据库读取数据

• 创建的文件必须是UTF-8编码，且无BOM

步骤三：创建

config/xc_course_template.json 用于配置logstash向elasticsearch写入数据的模板

步骤四：启动logstash

• logstash.bat -f …\config\xc_course_mysql.conf