ElasticSearch+LogStash实现mysql的数据同步和分词全文检索

最新推荐文章于 2022-11-09 17:40:23 发布

legolas94

最新推荐文章于 2022-11-09 17:40:23 发布

阅读量1.3k

点赞数

文章标签： elasticsearch logstash 全文检索 ik分词

本文链接：https://blog.csdn.net/KGLegolas/article/details/90699961

版权

本文介绍了如何使用ElasticSearch+LogStash实现MySQL数据同步到Elasticsearch，并通过ik分词器进行全文检索。首先，详细讲述了ElasticSearch的安装和elasticsearch-head插件的配置。接着，介绍了Logstash的安装和配置，用于从MySQL全量同步数据。最后，讲解了Spring如何集成ElasticSearch，并展示了如何利用分词器进行全文检索和高亮处理。

摘要由CSDN通过智能技术生成

建站过程中，为了方便笔记和文章内容的全文检索，考虑集成es，使用es的分词功能，实现站内的全文检索。

安装elasticsearch

官网下载es压缩包，解压之后配置config中的yml文件：

cluster.name: legolas
node.name: node-1
http.port: 9200
# transport.tcp.port: 9300 集群节点使用端口
network.host: 127.0.0.1

# elasticsearch-head插件需要用到的跨域配置
http.cors.enabled: true
http.cors.allow-origin: "*"

执行elasticsearch.bat，浏览器访问http://localhost:9200/，不报错即成功。
为了查看方便，我们可以安装elasticsearch-head插件，首先安装nodeJs环境，

安装 grunt: npm install npm install -g grunt -cli 查看grunt版本 grunt -version

下载elasticsearch-head (禁止放在elasticsearch的plugins和modules目录下，放在根目录下即可)，解压之后修改head/Gruntfile.js：

connect: {
    server: {
        options: {
            port: 9100,
            hostname: '*',
            base: '.',
            keepalive: true
        }
    }
}

安装elasticsearch-head：在elasticsearch-head目录下执行npm install
运行插件只要在head源代码目录下启动nodejs：grunt server
然后浏览器输入http://localhost:9100/即可。
若启动报错Gruntfile.js引起的，缺少以下包，执行以下命令：

npm install grunt-contrib-clean --registry=https://registry.npm.taobao.org
npm install grunt-contrib-concat --registry=https://registry.npm.taobao.org
npm install grunt-contrib-watch --registry=https://registry.npm.taobao.org
npm install grunt-contrib-connect --registry=https://registry.npm.taobao.org
npm install grunt-contrib-copy --registry=https://registry.npm.taobao.org
npm install grunt-contrib-jasmine --registry=https://registry.npm.taobao.org

安装ik分词器：
git上找到相应版本（版本必须一致），下载到本地打包mvn package，在target/release中得到zip，在plugins目录下新建ik文件夹，解压进去即可
pinying分词器操作一样 ik->pinyin

安装Logstash

1.下载解压logstash之后，在根目录下新建mysql,将mysql-connector-java-5.1.27.jar拷贝进去，然后配置jdbc.conf,和同步的表的查询方式,如果是全量同步只需要select * from [table]即可
jdbc.conf配置：

# logstash同步mysql数据库到elasticsearch
input {
    stdin {
    }
    jdbc {
        type =>"t_article"
        # mysql 数据库链接
        jdbc_connection_string => "jdbc:mysql://192.168.1.131:3306/ds"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "**********"
        jdbc_driver_library => "E:\Program\logstash-6.7.0\mysql\mysql-connector-java-5.1.27.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        # 执行的sql 就是上一步创建的sql文件的绝