记录一下在使用elasticsearch时遇到的一些困难及解决方式（一）

项目中有需要使用到elasticsearch工具，在网上百度了很多，终于历尽几天才将环境搭建好（本人小白，从0开始，所以请见谅）

1.首先在安装node.js时，碰到困难。
在集成grunt插件前，要先安装npm，但是由于实验室网路原因，一直未能连接到npm国外网站，然后照着网上百度的使用淘宝镜像。
方法有如下：(此方法前提是将npm配置好，在全局变量中加入后，在以后的使用中更方便）

  npm config set registry https://registry.npm.taobao.org

可以查看是否配置成功：

npm config get registry

如果返回来了 https://registry.npm.taobao.org，则说明配置成功。
一开始在安装时，看见有说不要安装太新的版本，因为不完善，所以特地找了node.js的旧版本，5.X。在安装grunt时无论怎么改npm的镜像都无法成功，改完之后还是无法连接到下载地址，最后尝试安装了最新的稳定版本，结果一下就ok了。
2.在给elasticsearch安装好head插件后，困难又出现在了如何将MYSQL数据库中的表通过mysql-connector-java-5.1.44-bin.jar与logstash导入到elasticsearch中。具体方法如下：（logstash的安装这里不重复，可以自行百度，我下的是5.2.0版的，百度的5.x版本以后的可以不用再下载mysql-connector-java-5.1.44-bin.jar，但是我在logstash安装包里面没有找到该jar包，所以自己下载了）
首先，在logstash\bin 目录下创建一个文件夹 logstash_trestle，在该文件夹下创建两个文件，一个是mysql.conf和search.sql,再将下载的mysql-connector-java-5.1.44-bin.jar放到该文件夹下；
mysql.conf中内容如下：

input {
   
  stdin {
   
  }
  jdbc {
     
   jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/lockdb"
      jdbc_user => "root"
  jdbc_password => "123456"
 jdbc_driver_library => "D:\software\logstash5.2.0\logstash-5.2.0\bin\logstash_jdbc_test/mysql-connector-java-5.1.44-bin.jar"    
   jdbc_driver_class => "com.mysql.jdbc.Driver"
   jdbc_paging_enabled => "true" 
  jdbc_page_size => "50000"   
   statement_filepath => "D:\software\logstash5.2.0\logstash-5.2.0\bin\logstash_jdbc_test/lock.sql"
   schedule => "* * * * *"  
 type => "content"
    }
}
filter {
   
    json {
   
        source => "message"
        remove_field => ["message"]
    }
}
output {
   
    elasticsearch {
   
        hosts => ["localhost:9200"]
        index => "cmscontent"
        document_id => "%{rent_id}"
   }
    stdout {
   
        codec => json_lines
    }
}

其中需要自己修改的就是

 jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/lockdb"
   jdbc_user => "root"
  jdbc_password => "123456"

lockdb是MYSQL中要导入的数据库名字，下面依次是你数据库的名字和密码

jdbc_driver_library => "D:\software\logstash5.2.0\logstash-5.2.0\bin\logstash_jdbc_test/mysql-connector-java-5.1.44-bin.jar"  
statement_filepath => "D:\software\logstash5.2.0\logstash-5.2.0\bin\logstash_jdbc_test/search.sql"

分别是你下载jar包的地址和刚在上面新建的.sql文件地址；

 elasticsearch {
   
        hosts => ["localhost:9200"]
        index => "cmscontent"
        document_id => "%{rent_id}"
   }

第一行是ES节点地址，此处我写的自己主机；
第二行是索引名
第三行是我在导入时遇到的问题 ,一开始没有弄得document_id的意思，就直接跟着百度粘贴，没有修改。在ES中每条记录都有自己的id号，id号是惟一的，如果再插入相同的id，后面值会替换前面的值，所以一开始我导入后看着cmd中有导入每条记录的信息，但是在es中只能看到最后一条。修改方法是将{}里面的值改为自己表里面的不重复的键，如主键；
而search.sql里面的内容就写你要导入表的查询语句：

  {
   
  select * from 表名
  }

最后在logstash\bin位置下执行cmd命令

     logstash -f ./logstash_trestle/mysql.conf

再次导入，ok，所有记录都有了。
下面继续学习如何导入多张表。
第一次写，有点乱，就当给自己记录啦。

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

1. 全新的界面设计 ，将会带来全新的写作体验；
2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
4. 全新的 KaTeX数学公式 语法；
5. 增加了支持甘特图的mermaid语法