ElasticSearch安装

Elastic Search安装

安装环境有：Ubuntu 16.04，Java1.8， Elastic 6.5.4，Kibana 6.5.4，Logstash 6.5.4

一、Java1.8安装

1. 下载Java1.8，进入下载页面，点击Accept License Agreement，选择linux x64 tar.gz格式文件

2. 安装Jdk

   • 输入sudo cp jdk-8u191-linux-x64.tar.gz /usr/local，将安装包拷贝到/usr/local目录下

   • 输入sudo tar -zxvf jdk-8u191-linux-x64.tar.gz，进行解压

   • 输入sudo mv jdk-8u191-linux-x64.tar.gz java，对文件名进行修改

   • 输入sudo chmod -R 777 java，修改文件权限

3. 配置Jdk，输入sudo gedit ~/.bashrc，在文件最后添加如下配置：

    export JAVA_HOME=/usr/local/java
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
   

4. 输入source ~/.bashrc对配置生效

5. 验证Jdk安装，输入java -version 会出现java相应的版本信息

二、Elastic Search安装

1. 下载Elastic Search，选择版本为6.5.4，点击下载。

2. 安装Elastic Search

   • 输入sudo cp elasticsearch-6.5.4.tar.gz /usr/local，将Elastic Search拷贝到安装目录。

   • 输入sudo tar -zxvf elasticsearch-6.5.4.tar.gz，对安装包进行解压。

   • 输入sudo mv elasticsearch-6.5.4 elasticsearch，进行文件夹名称修改。

   • 输入sudo chmod -R 777 elasticsearch，修改文件权限

3. 对Elastic Search进行配置

   • 输入cd elasticsearch/config/，进入Elastic Search配置目录

   • 输入sudo gedit elasticsearch.yml，打开配置文件。在最后一行添加network.host: 0.0.0.0，设置Elastic Search为外网可访问

   • 输入sudo gedit jvm.options，修改elastic search使用内存

       -Xms512m
       -Xmx512m
     

4. 启动Elastic Search

   • 输入cd /usr/local/elasticsearch/bin 进入执行文件目录。输入./elasticsearch启动elastic search

   • 启动过程中会报max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]的错误，解决方法为：输入sudo gedit /etc/sysctl.conf，在最后一行添加vm.max_map_count=262144，再执行sudo sysctl -p

   • 输入./elasticsearch，重新启动elastic search

   • 输入curl 127.0.0.1:9200，返回elastic search的相关信息，则验证安装成功

5. 分词安装，IK分词安装需要较高的权限，这里我们需要使用root用户进行操作。

   • 输入sudo passwd root，根据提示设置root用户的密码

   • 输入su，根据提示输入密码，将用户切换为root

   • 为root用户配置java环境变量，参考java安装步骤3、4

   • 输入./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.5.4/elasticsearch-analysis-ik-6.5.4.zip，安装IK分词，根据提示输入y

   • 输入sudo chmod -R 777 elasticsearch，修改文件权限

   • 输入curl http://localhost:9200/_cat/plugins可查看ik安装情况J--DHCh analysis-ik 6.5.4

   • 输入./elasticsearch，重新启动elastic search

三、kibana安装

1. 下载Kibana，选择6.5.4版本，点击下载

2. 安装kibana

   • 输入sudo cp kibana-6.5.4-linux-x86_64.tar.gz /usr/local，将kibana拷贝到安装目录。

   • 输入sudo tar -zxvf kibana-6.5.4-linux-x86_64.tar.gz，对安装包进行解压。

   • 输入sudo mv kibana-6.5.4-linux-x86_64 kibana，对文件夹重命名

   • 输入sudo chmod -R 777 kibana，修改文件权限

3. 对kibana进行配置

   • 输入cd /usr/local/kibana/config/，进入kibana安装目录

   • 输入sudo gedit kibana.yml，在文件末尾添加

       server.host: 0.0.0.0
       elasticsearch.url: "http://127.0.0.1:9200"
       xpack.reporting.encryptionKey: "a_random_string"
       xpack.security.encryptionKey: "something_at_least_32_characters"
     
       # 有数字证书的配置
       server.ssl.enabled: true
       server.ssl.certificate: /usr/local/kibana/config/kibana.crt
       server.ssl.key: /usr/local/kibana/config/kibana.key
     

4. 启动kibana

   • 输入cd /usr/local/kibana/bin/，进入执行文件目录，输入./kibana启动kibana

   • 在浏览器输入http://localhost:5601，即可对kibana进行访问

5. 分词安装验证

   • 输入http://localhost:5601，点击Dev Tools菜单，点击右边Console，输入以下代码：

       // 按照最粗粒度分词
       GET _analyze?pretty
       {
         "analyzer": "ik_smart",
         "text": "中华人民共和国国歌是聂耳写的"
       }
     
       // 按照最细粒度分词
       GET _analyze?pretty
       {
         "analyzer": "ik_max_word",
         "text": "中华人民共和国国歌是聂耳写的"
       }
     

   点击运行后，可查看分词后的效果

四、Logstash安装

1. 下载Logstash，选择6.5.4版本，点击下载

2. 安装Logstash

   • 输入sudo cp logstash-6.5.4.tar.gz /usr/local，将Logstash拷贝到local目录下。

   • 输入sudo tar -zxvf logstash-6.5.4.tar.gz，对安装包进行解压。

   • 输入sudo mv logstash-6.5.4 logstash，对文件夹进行重命名

   • 输入sudo chmod -R 777 logstash，修改文件权限

3. 启动Logstash

   • 输入cd /usr/local/logstash，进入logstash目录

   • 输入bin/logstash -e 'input { stdin { } } output { stdout {} }'，对logstash进行启动

   • 启动完毕后，输入hello，则返回如下信息，则表示Logstash安装成功

       {
      		"message" => "hello",
       		"@version" => "1",
     		"host" => "ubuntu",
             "@timestamp" => 2019-01-03T06:46:06.059Z
       }
     

   • 通过Logstash将数据库导入ElasticSearch

     1. 下载数据库驱动包，这里用的是SqlServer，点击下载

     2. 输入：sudo mkdir /usr/local/logstash/lib/mssql，创建mssql文件夹

     3. 输入：sudo cp mssql-jdbc-7.0.0.jre8.jar /usr/local/logstash/lib/mssql/，将数据库驱动拷贝到文件夹下

     4. 输入：cd /usr/local/logstash/config/，进入config目录

     5. 输入：sudo cp logstash-sample.conf logstash.conf，拷贝并重命名文件

     6. 输入：sudo gedit logstash.conf，添加如下内容

         input {
             jdbc {
                 jdbc_driver_library => "/usr/local/logstash/lib/mssql/mssql-jdbc-7.0.0.jre8.jar"
                 jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
                 jdbc_connection_string => "jdbc:sqlserver://url:port;databaseName=dbname;"
                 jdbc_user => "user"
                 jdbc_password => "password"
                 schedule => "* * * * *"
                 jdbc_default_timezone => "Asia/Shanghai"
                 statement => "SELECT * FROM Table;"
             }
         }
         output {
             elasticsearch {
                 index => "index"
                 document_type => "type"
                 document_id => "%{PrimaryKey}"
                 hosts => ["localhost:9200"]
             }
         }
        

     7. 输入：cd /usr/local/logstash/bin后，执行./logstash -f ../config/logstash.conf，就会从配置的数据库中将信息存储到elasticsearch中