Elasticsearch安装及自动同步mysql数据库数据

1           环境:

CentOS  6.4  x64

JDK1.8.0_45

 

2           Elasticsearch的安装

  1. 1          下载elasticsearch安装包:

https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.5.2.tar.gz

  1. 2          将下载完成的安装包上传到服务器的/usr/local文件夹下(上传地址根据个人习惯有所不同)

  2. 3          利用cd /usr/local命令进入local文件夹,利用tar -zvxf elasticsearch-1.5.2.tar.gz解压提取文件

  3. 4          输入./elasticsearch-1.5.2/bin/elasticsearch命令启动elasticsearch服务出现下图则说明安装成功

  1. 5          ctrl+c停止服务,输入cd ./elasticsearch-1.5.2/config/命令进入elasticsearch的配置文件目录

  2. 6          输入vim ./elasticsearch.yml命令编辑elasticsearch的配置文件

  3. 6.1     找到Node节点

  4. 6.1.1    取消node.master: truenode.data: true的注释如下图

  1. 6.2     找到Network And HTTP节点

  2. 6.2.1    network.host节点修改成elasticsearch所在的服务器的ip地址如下图

  1. 6.3     进入命令模式保存并退出配置文件

  2. 7          输入vim /etc/sysconfig/iptables修改防火墙配置文件,添加9200端口的入站规则并重启防火墙

  1. 8          输入../bin/elasticsearch命令重新启动elasticsearch服务出现下图

或者在浏览器中输入http://<ip>:9200出现下图

则表示elasticsearch安装配置并且启动成功

 

3           Elasticsearch插件的安装

  1. 1          另开一个终端界面输入命令cd /usr/local/elasticsearch-1.5.2/进入elasticsearch目录

  2. 2          elasticsearch-headelasticsearchweb管理界面安装

  3. 2.1     输入./bin/plugin --install mobz/elasticsearch-head出现下图后表示插件安装成功(在线安装,如果本地安装则mobz/elasticsearch-head要替换成file:///<文件目录地址>

  1. 3.2.2   在浏览器输入http://<ip>:9200/_plugin/head/进入web管理页面

  2. 3          elasticsearch-jdbc数据访问驱动插件的安装

  3. 3.1     输入./bin/plugin --install jdbc --urlhttp://xbib.org/repository/org/xbib/elasticsearch/plugin/elasticsearch-river-jdbc/1.5.0.5/elasticsearch-river-jdbc-1.5.0.5-plugin.zip出现下图则说明安装成功

  1. 4          MySQL JDBC驱动安装

  2. 4.1     输入curl -o mysql-connector-java-5.1.33.zip -L 'http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.33.zip/from/http://cdn.mysql.com/'命令下载mysqljdbc

  3. 4.2     输入cp ./mysql-connector-java-5.1.33/mysql-connector-java-5.1.33-bin.jar ./plugins/jdbc/命令将mysqljdbc移动到 pluginsjdbc目录下

  4. 4.3     输入chmod 644 ./plugins/jdbc/*命令修改jdbc文件夹下的所有文件的访问权限

  5. 3.5    重新执行./bin/elasticsearch命令使jdbc插件生效

4     mysql中创建数据库、表并添加测试数据

  1. 4.1    mysql数据库中建立一个test数据库并建立person表表结构如下

create table person

 (idint ,

namevarchar(20),

sex char(1),

createdate timestamp);

  1. 4.2    插入数据

insert into person(id,name,sex) values(1,'zhangsan','F');

insert into person(id,name,sex) values(2,'zhaoliu','F');

  1. 4.3    创建用户并给用户分配访问数据库的对应表的权限

  2. 4.4    修改防火墙配置,添加3306端口的入站规则

 

5     创建elasticsearch索引并设置与mysql数据更新同步

  1. 5.1    输入curl -XPUT 'http://192.168.120.159:9200/test'命令建立elasticsearch索引

  2. 5.2    建立elasticsearch中的索引与数据库表的映射

curl -XPUT 'http://192.168.120.159:9200/test/person/_mapping' -d '

{

    "person": {

        "properties": {

            "id": {

                "type": "long",

                "store": "yes"

            },

            "name": {

                "type": "string",

                "store": "yes"

            },

            "sex": {

                "type": "string",

                "store": "yes"

            }

        }

    }

}'

  1. 5.3    建立任务定时获取mysql中的数据更新到elasticsearch

curl -XPUT 'http://192.168.120.159:9200/_river/my_jdbc_river/_meta' -d '{

    "type": "jdbc",

    "jdbc": {

        "driver": "com.mysql.jdbc.Driver",

        "url": "jdbc:mysql://<ip>/test",

        "user": "<username>",

        "password": "<password>",

        "sql": "select id as _id,name,sex from person",

        "index": "test",

        "type": "person",

        "bulk_size": 100,

        "max_bulk_requests": 30,

        "bulk_timeout": "10s",

        "flush_interval": "5s",

        "schedule": "0/5 * * * * ?"

    }

}'

这样就建立了一个任务,定时每5秒从mysql中获取一次数据并将数据更新到elasticsearch

 

 


如果想后台运行,则执行  ./elasticsearch -d


注:示例写的比较简单每次是过去表中所有的数据更新到elasticsearch中,这里可以进行增量式获取即每次只获取新增的或者修改过的数据,只需要在sql后面加一个时间就可以了,具体的可以参照elasticsearch官方说明文档。

 

本文档参照

http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-plugins.html

https://github.com/jprante/elasticsearch-jdbc

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值