Elasticsearch搜索引擎学习记录2-数据同步

es服务同mysql的数据同步

我用的是river同步数据，ps:river代表es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个es服务，通过读取river中的数据并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的。样例针对mysql的river。
1. 配置
确认是否已安装elasticsearch-river-jdbc的jar包，由于的我的es为1.6版本，所以安装的1.4.0.8.jar包；
将mysql-connector-java-5.1.31.jar包放入es安装目录的lib包下
2. 执行脚本
- 新建索引
curl -XPUT ‘http://localhost:9200/my-clothes’
- 创建数据表与索引映射

 curl -XPUT 'http://localhost:9200/myclothes/clothes_user/_mapping' -d '
                {
                    "clothes_user": {
                        "properties": {
                            "id": {
                                "type": "int",
                                "store": "yes"
                            },
                            "username": {
                                "type": "string",
                                "store": "yes"
                            },
                            "password": {
                                "type": "string",
                                "store": "yes"
                            },
                            "real_name": {
                                "type": "string",
                                "store": "yes"
                            }
                        }
                    }
                }'

• 同步数据脚本

 curl -XPUT 'http://localhost:9200/_river/clothes/_meta' -d '{
    "type": "jdbc",
    "jdbc": {
        "driver": "com.mysql.jdbc.Driver",
       "url": "jdbc:mysql://localhost:3306/myclothes",
        "user": "root",
        "password": "111111",
       "sql": [
            {
                "statement": "SELECT r.id AS 'id',r.id AS '_id',r.username,r.password,r.real_name FROM  clothes_user r"
            }
        ],
        "index": "my-clothes",
        "type": "clothes",
        "bulk_size": 100,
        "max_bulk_requests": 30,
        "bulk_timeout": "10s",
        "flush_interval": "5s",
        "interval":"10"
    }
}'

• 删除指定的river
  curl -XDELETE ‘localhost:9200/_river/clothes’

由于脚本里设置的interval为10秒同步一次，重启es服务以后，我们可以测验一下同步结果：
数据库中数据
10秒以后，观察es服务

修改数据库数据，超管1为超管1111111，再观察一下同步后的数据