ElasticSearch之安装和简单配置

一户董

已于 2024-03-04 10:28:28 修改

阅读量1.7k

点赞数 16

分类专栏： ElasticSearch 文章标签： elk elastic安装 kibana安装 logstash安装

于 2024-01-30 17:50:32 首次发布

本文链接：https://blog.csdn.net/wang0907/article/details/135933704

版权

ElasticSearch 专栏收录该内容

38 篇文章 1 订阅

订阅专栏

写在前面

本文看下elk的安装和简单配置，安装我们会尝试通过不同的方式来完成，也会介绍如何使用docker，docker-compose安装。

1：安装es

1.1：安装单实例

下载es安装包

在这里下载，下载后解压到某个目录，然后执行如下操作。
创建es使用的用户

groupadd elk
useradd -g elk elk
chown -R elk:elk /opt/program
chmod -R 755  /opt/program

因为es不允许使用root账号启动，所以需要新建账号，并且到该账号。

启动

注意：执行该步骤前不要使用root启动，不然后续会有文件权限问题，如果已经启动报了权限问题，则可重新执行:

chown -R elk:elk /opt/program
chmod -R 755  /opt/program

# 切换到非root账号
su elk
[elk@localhost elasticsearch-7.6.2]$ /opt/program/elasticsearch-7.6.2/bin/elasticsearch -d
[elk@localhost elasticsearch-7.6.2]$ OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
# 停止
[elk@localhost elasticsearch-7.6.2]$ ps -ef | grep elasti
elk        2957      1 40 01:56 pts/0    00:00:20 /opt/program/elasticsearch-7.6.2/jdk/bin/java -Des.networkaddress.cache.ttl=60 -Des.networkaddress.... -cp /opt/program/elasticsearch-7.6.2/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
[elk@localhost elasticsearch-7.6.2]$ kill -9 2957

启动后访问
默认只可本机访问，若要外部机器访问，则需要修改配置config/elasticsearch.yml，改变其绑定的IP地址：

# 绑定所有网卡IP
network.host: 0.0.0.0
# 没这个会报错，集群节点发现相关配置
discovery.seed_hosts: ["127.0.0.1"]

# 给自己起个名字，集群中不可重复
node.name: node-1
# 集群只有自己，那就自己当老大，即作为master节点
cluster.initial_master_nodes: ["node-1"]

在这里插入图片描述
如果不能访问，可能是开启了防火墙，执行如下操作：

systemctl status firewalld.service
systemctl stop firewalld.service
systemctl status firewalld.service
systemctl disable firewalld.service
使用vim /etc/sysconfig/selinux，将SELINUX=enforcing改为SELINUX=disabled。
最后重启。

一般就好了。

1.1.1：安装es插件icu`(install方式安装)`

[elk@localhost elasticsearch-7.6.2]$ ./bin/elasticsearch-plugin list
[elk@localhost elasticsearch-7.6.2]$ ./bin/elasticsearch-plugin install analysis-icu
-> Installing analysis-icu
-> Downloading analysis-icu from elastic
[=================================================] 100%   
-> Installed analysis-icu
[elk@localhost elasticsearch-7.6.2]$ ./bin/elasticsearch-plugin list
analysis-icu

接口查看：
在这里插入图片描述

1.1.2：安装es插件pinyin`(手动方式安装)`

在这里下载和你本地es保持一直的版本，然后解压到plugins目录下即可，如下我本地的：

[root@localhost plugins]# pwd
/opt/program/elasticsearch-7.6.2/plugins
[root@localhost plugins]# ls
analysis-icu  ik762  pinyin-7.6.2
[root@localhost plugins]# tree pinyin-7.6.2/
pinyin-7.6.2/
├── elasticsearch-analysis-pinyin-7.6.2.jar
├── elasticsearch-analysis-pinyin-7.6.2.zip
├── nlp-lang-1.7.jar
└── plugin-descriptor.properties

0 directories, 4 files

查看是否安装成功：

[root@localhost plugins]# curl 127.0.0.1:9200/_cat/plugins
node-1 analysis-icu    7.6.2
node-1 analysis-ik     7.6.2
node-1 analysis-pinyin 7.6.2

1.2：安装多实例

bin/elasticsearch -E node.name=xiaohengnode1 -E cluster.name=xiaoheng -E path.data=xiaoheng0_data -E http.port=9200 

bin/elasticsearch -E node.name=xiaohengnode2 -E cluster.name=xiaoheng -E path.data=xiaoheng1_data -E http.port=9201

bin/elasticsearch -E node.name=xiaohengnode3 -E cluster.name=xiaoheng -E path.data=xiaoheng2_data -E http.port=9202

在这里插入图片描述

2：安装kibana

2.1：下载

在这里下载，下载后解压。

2.2：修改配置和启动

主要修改如下配置：

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://127.0.0.1:9200"]

elasticsearch.hosts这里注意修改为你本地的es地址，因为我是在同一个虚拟机，所以指定为127就行。
启动：

nohup ./bin/kibana --allow-root &

其中的--allow-root如果不是root启动的话可以不加，通过nohup.log查看日志（在执行启动命令的目录生成）。
访问http://192.168.10.162:5601/：
在这里插入图片描述
kibana为我们准备了电商数据，飞行数据，以及web程序运行日志数据，点击add data导入：

成功后可以查看dashboard：

看日志：

2.3：dev tools `(重要！！！)`

在这里插入图片描述
可用来测试es接口：

2.4：kibana plugin

在这里插入图片描述

3：安装logstash

3.1：下载

在这里下载。

3.2：配置和启动

在config目录下增加logstash.conf：

input {
  file {
    path => "/opt/program/packages/movie.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

这里使用文件作为数据源，其中movie.csv从这里下载。输出到elasticsearch，hosts注意改成你本地实际的，其他的不需要动，接着启动：

[elk@localhost jdk1.8.0_151]$ nohup /opt/program/logstash-7.6.2/bin/logstash -f /opt/program/logstash-7.6.2/config/logstash.conf &
[2] 4491
[elk@localhost jdk1.8.0_151]$ nohup: ignoring input and appending output to ‘nohup.out’
[elk@localhost jdk1.8.0_151]$ tail -f nohup.out
...
{
    "@version" => "1",
       "title" => "Gintama",
       "genre" => [
        [0] "Action",
        [1] "Adventure",
        [2] "Comedy",
        [3] "Sci-Fi"
    ],
          "id" => "191005",
        "year" => 2017
}
...
看到刷这些信息就说明在导入logstash了。

接着我们就可以在kibana中创建索引来查看数据了：
在这里插入图片描述
点击创建索引：

接着在dicovery就能看到movies索引了：

后续我们会使用这些数据来进行学习。

4：docker一键安装

参考这里。

5：使用docker-compose 安装

这里我们使用docker-compose安装es+kibana+cerebro(提供一个监控面板查看es的状态),yaml如下：

version: '2.2'
services:
  cerebro:
    image: lmenezes/cerebro:0.8.3
    container_name: cerebro
    ports:
      - "9010:9000"
    command:
      - -Dhosts.0.host=http://elasticsearch:9200
    networks:
      - es7net
  kibana:
    image: docker.elastic.co/kibana/kibana:7.1.0
    container_name: kibana7
    environment:
      - I18N_LOCALE=zh-CN
      - XPACK_GRAPH_ENABLED=true
      - TIMELION_ENABLED=true
      - XPACK_MONITORING_COLLECTION_ENABLED="true"
    ports:
      - "5611:5601"
    networks:
      - es7net
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.1.0
    container_name: es7_01
    environment:
      - cluster.name=geektime
      - node.name=es7_01
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - discovery.seed_hosts=es7_01,es7_02
      - cluster.initial_master_nodes=es7_01,es7_02
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - es7data1:/usr/share/elasticsearch/data
    ports:
      - 9210:9200
    networks:
      - es7net
  elasticsearch2:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.1.0
    container_name: es7_02
    environment:
      - cluster.name=geektime
      - node.name=es7_02
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - discovery.seed_hosts=es7_01,es7_02
      - cluster.initial_master_nodes=es7_01,es7_02
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - es7data2:/usr/share/elasticsearch/data
    networks:
      - es7net


volumes:
  es7data1:
    driver: local
  es7data2:
    driver: local

networks:
  es7net:
    driver: bridge

我们将yaml命名为docker-compose.yaml,接着在docker-compose.yaml所在的目录执行docker-compose up:

[root@localhost packages]# docker-compose up
Starting cerebro ... done
Starting es7_01  ... done
Starting es7_02  ... done
Starting kibana7 ... done
Attaching to es7_02, es7_01, kibana7, cerebro

来访问cerebro看下：
在这里插入图片描述
选择es集群后进入面板:

点击左上角的rest还能发送rest请求哟：