搜索引擎迁移初步

搜索引擎迁移记录

 

 背景：

       项目中存在一个旧项目，搜索主要依赖数据库的like模糊匹配，由于数据量和用户量的不断增多，考虑迁移至ElasticSearch中。

       内容比较多，会分几次发布，希望大家持续关注，本次主要发出一个大纲情况。

       

 涉及内容：

       ElasticSearch+LogStash+Kibana

 

 大纲：

         部署ElasticSearch

 

          软件版本： elasticsearch-2.3.5
       软件环境： CentOS 6.7+JDK 1.7
       部署步骤
       配置修改：
          启动ES
          插入测试数据
          开发Java客户端：
                集成POM文件
                 集成spring-data-elasticsearch
                 开发数据层
                  JUNIT测试

         设计正式环境索引和Type

 

 

         设计正式环境各字段类型

 

         ES正式环境优化

 

         过程中遇到的问题以及解决方案

 

 

 

 

 部署LogStash

 

         软件版本：logstash-2.4.1.tar.gz

 

         软件环境：CentOS 6.7+JDK 1.7

 

         部署步骤

 

         配置修改

 

         安装测试

 

         下载并配置插件

 

                logstash-input-jdbc

 

 

                logstash-input-beats

 

         运行测试

 

         遇到的问题以及解决方案

 

 

 

部署Kibana

 

         软件版本：kibana-4.5.4

 

         软件环境：CentOS 6.7+JDK 1.7

 

         部署步骤

 

         配置修改

 

         安装测试

 

         结果展示

         遇到的问题以及解决方案