logstash-input-jdbc 实时同步mysql数据

最新推荐文章于 2024-08-08 07:26:48 发布

jjshouji

最新推荐文章于 2024-08-08 07:26:48 发布

阅读量2.9k

点赞数 2

分类专栏： ES 文章标签： logstash ES mysql 同步 logstash-input-jdbc

本文链接：https://blog.csdn.net/jjshouji/article/details/79169072

版权

本文介绍了如何在CentOS 6.5环境下，利用JDK 1.8、logstash和logstash-input-jdbc插件，实现实时从MySQL数据库到Elasticsearch的数据同步。首先讲解了各个组件的版本信息和安装步骤，接着阐述了logstash的测试运行以及logstash-input-jdbc的安装与使用，包括ruby、rvm、gem和bundle的概念及其关系。

摘要由CSDN通过智能技术生成

1. 版本

Linux 版本：CentOS release 6.5 (Final)

JDK版本： java version "1.8.0_102"

名称	版本号	备注
Elasticsearch	6.1.2	最新版本
logstash	5.5.1	logstash选择的版本不需要太新，很难找到匹配的插件版本。
logstash-input-jdbc	4.2.2	同步mysql到es插件
ruby	9.1.13.0	插件是基于ruby开发的，需要ruby包，建议用rvm安装，可选择不同版本
Elasticsearch-head	master	基于node.js 开发，需要npm，node，grunt包
mysql-connector-java	5.144	mysql驱动

说明：rvm是ruby包版本管理程序，可以用yum安装，后通过rvm安装指定版本的ruby,也可以通过yum直接安装ruby但是版本不好控制。

[root@test1 ~]# rvm list known   --列出ruby版本，后续通过  
[ruby-]1.8.6[-p420]
[ruby-]1.8.7[-head] # security released on head
[ruby-]1.9.1[-p431]
[ruby-]1.9.2[-p330]
[ruby-]1.9.3[-p551]
[ruby-]2.0.0[-p648]
[ruby-]2.1[.10]
[ruby-]2.2[.7]
[ruby-]2.3[.4]
[ruby-]2.4[.1]
ruby-head

# for forks use: rvm install ruby-head-<name> --url https://github.com/github/ruby.git --branch 2.2

# JRuby
jruby-1.6[.8]
jruby-1.7[.27]
jruby[-9.1.13.0]
jruby-head
[root@test1 ~]# rvm install 2.0.0   --rvm安装ruby 2.0.0版本

2. ES安装

ES安装参考：http://blog.csdn.net/jjshouji/article/details/78450847

ES Head安装：http://blog.csdn.net/jjshouji/article/details/78449769

3.logstash 安装
logstash 安装很容易，直接解压即可用，无需配置。