Logstash 数据同步
1.1 概述
Logstash是一个开源的服务器端数据处理管道,可以同时从多个数据源获取数据,并对其进行转换,然后将其发送到Elasticsearch中
Logstash 采用可插拔框架,拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排,让它们在管道中和谐地运行
官网下载地址: https://www.elastic.co/cn/downloads/past-releases#logstash
百度网盘地址: https://pan.baidu.com/s/1HW97yGKMd1ayPsyRKi8ewA
提取码:oex1
1.2 安装:
1.3 数据同步
Logstash的工作是从MySQL中读取数据,向ES中创建索引,这里需要提前创建mapping的模板文件以便logstash使用
步骤一: 根据Mysql进行配置导入jar包,拷贝数据库驱动
连接:https://pan.baidu.com/s/1zUMfzZZL4J5RVsidnHtUdQ
提取码: kx68
步骤二:创建
config/xc_course_mysql.conf ,用于描述从哪个数据库读取数据
- 创建的文件必须是UTF-8编码,且无BOM
步骤三:创建
config/xc_course_template.json 用于配置logstash向elasticsearch写入数据的模板
步骤四:启动logstash
- logstash.bat -f …\config\xc_course_mysql.conf