利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍

参考链接：

1， 源码地址，官方介绍

2， logstash-input-jdbc使用建议

3, 官网介绍例子，使用 logstash-input-jdbc 到 elasticsearch

一、安装 elastisearch, logstash

参考我的上一篇链接 ：centos下 ELK部署文档

二、安装logstash-input-jdbc插件

logstash-input-jdbc插件是logstash 的一个个插件。

使用ruby语言开发。

下载插件过程中最大的坑是下载插件相关的依赖的时候下不动，因为国内网络的原因，访问不到亚马逊的服务器。

解决办法，改成国内的ruby仓库镜像。此镜像托管于淘宝的阿里云服务器上 ：

淘宝镜像官网地址

1， 如果没有安装 gem 的话 安装gem 

sudo yum install gem

替换淘宝

1，gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/
2，gem sources -l

*** CURRENT SOURCES ***

https://ruby.taobao.org
# 请确保只有 ruby.taobao.org
如果 还是显示 https://rubygems.org/ 进入 home的 .gemrc 文件
sudo vim ~/.gemrc 
手动删除 https://rubygems.org/

2， 修改Gemfile的数据源地址。步骤：

1， whereis logstash # 查看logstash安装的位置， 我的在 /opt/logstash/ 目录
2， sudo vi Gemfile # 
修改 source 的值 为： "htt