elasticsearch在docker中安装（推荐）

最新推荐文章于 2024-05-12 07:56:34 发布

逍遥客.

最新推荐文章于 2024-05-12 07:56:34 发布

阅读量610

点赞数

分类专栏： elk 文章标签： elk

本文链接：https://blog.csdn.net/qq_41853447/article/details/103404229

版权

elk 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

elasticsearch在docker中安装（推荐）

文章目录

elasticsearch在docker中安装（推荐）
一、修改mmap计数
二、下载并运行镜像
三、准备elasticsearch的配置文件
四、修改elasticsearch.yml配置
五、准备logstash的配置文件
六、准备logstash的patterns文件
八、修改10-syslog.conf配置，改为以下内容
九、修改30-output.conf配置，改为以下内容
十、创建运行脚本
十一、运行镜像
十二、添加索引模板(非必需)
十三、安装IK分词器

非docker安装可以参考： https://editor.csdn.net/md/?articleId=103201684#Elasticsearch_228

一、修改mmap计数

2.1、修改mmap最大计数为655360

#在/etc/sysctl.conf文件最后添加一行或者修改该字段的值为：655360
vm.max_map_count=655360
#并执行命令
sysctl -p

在这里插入图片描述

二、下载并运行镜像

docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 --name elk -d sebp/elk:651

三、准备elasticsearch的配置文件

mkdir -p /opt/elk/elasticsearch/conf
#复制elasticsearch的配置出来
docker cp elk:/etc/elasticsearch/elasticsearch.yml /opt/elk/elasticsearch/conf

四、修改elasticsearch.yml配置

修改cluster.name参数

配置文件在刚从容器中复制出来的 /opt/elk/elasticsearch/conf地址中。

cluster.name: my-es

在最后新增以下三个参数

thread_pool.bulk.queue_size: 1000

http.cors.enabled: true
http.cors.allow-origin: "*"

五、准备logstash的配置文件

mkdir -p /opt/elk/logstash/conf

#复制logstash的配置出来
docker cp elk:/etc/logstash/conf.d/. /opt/elk/logstash/conf/

六、准备logstash的patterns文件

在 /opt/elk/logstash/patterns目录下创建名为 java的这个文件。

# 创建目录
mkdir -p /opt/elk/logstash/patterns
# 创建java这个文件
vim java

java文件内容如下

# user-center
MYAPPNAME ([0-9a-zA-Z_-]*)
# RMI TCP Connection(2)-127.0.0.1
MYTHREADNAME ([0-9a-zA-Z._-]|\(|\)|\s)*

八、修改10-syslog.conf配置，改为以下内容

注意，并不是通用的，根据自己的项目来配置。

vim /opt/elk/logstash/conf/10-syslog.conf

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
  if [fields][docType] == "sys-log" {
    grok {
      patterns_dir => ["/opt/elk/logstash/patterns"]
      match => { "message" => "\[%{NOTSPACE:appName}:%{NOTSPACE:serverIp}:%{NOTSPACE:serverPort}\] %{TIMESTAMP_ISO8601:logTime} %{LOGLEVEL:logLevel} %{WORD:pid} \[%{MYAPPNAME:traceId}\] \[%{MYTHREADNAME:threadName}\] %{NOTSPACE:classname} %{GREEDYDATA:message}" }
      overwrite => ["message"]
    }
    date {
      match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS Z"]
    }
    date {
      match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS"]
      target => "timestamp"
      locale => "en"
      timezone => "+08:00"
    }
    mutate {  
      remove_field => "logTime"
      remove_field => "@version"
      remove_field => "host"
      remove_field => "offset"
    }
  }
  if [fields][docType] == "point-log" {
    grok {
      patterns_dir => ["/opt/elk/logstash/patterns"]
      match => { 
        "message" => "%{TIMESTAMP_ISO8601:logTime}\|%{MYAPPNAME:appName}\|%{WORD:resouceid}\|%{MYAPPNAME:type}\|%{GREEDYDATA:object}"
      }
    }
    kv {
        source => "object"
        field_split => "&"
        value_split => "="
    }
    date {
      match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS Z"]
    }
    date {
      match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS"]
      target => "timestamp"
      locale => "en"
      timezone => "+08:00"
    }
    mutate {
      remove_field => "logTime"
      remove_field => "@version"
      remove_field => "host"
      remove_field => "offset"
    }
  }
}

九、修改30-output.conf配置，改为以下内容

vim /opt/elk/logstash/conf/30-output.conf

output {
  if [fields][docType] == "sys-log" {
    elasticsearch {
      hosts => ["localhost"]
      manage_template => false
      index => "sys-log-%{+YYYY.MM.dd}"
      document_type => "%{[@metadata][type]}"
    }
  }
  if [fields][docType] == "point-log" {
    elasticsearch {
      hosts => ["localhost"]
      manage_template => false
      index => "point-log-%{+YYYY.MM.dd}"
      document_type => "%{[@metadata][type]}"
      routing => "%{type}"
    }
  }
}

十、创建运行脚本

vim /opt/elk/start.sh

docker stop elk
docker rm elk

docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 \
    -e LS_HEAP_SIZE="1g" -e ES_JAVA_OPTS="-Xms2g -Xmx2g" \
    -v $PWD/elasticsearch/data:/var/lib/elasticsearch \
    -v $PWD/elasticsearch/plugins:/opt/elasticsearch/plugins \
    -v $PWD/logstash/conf:/etc/logstash/conf.d \
    -v $PWD/logstash/patterns:/opt/logstash/patterns \
    -v $PWD/elasticsearch/conf/elasticsearch.yml:/etc/elasticsearch/elasticsearch.yml \
    -v $PWD/elasticsearch/log:/var/log/elasticsearch \
    -v $PWD/logstash/log:/var/log/logstash \
    --name elk \
    -d sebp/elk:651

十一、运行镜像

sh start.sh

十二、添加索引模板(非必需)

注意：不要直接复制就使用，还是需要将地址改为自己的地址

更新已有索引

curl -X PUT "http://192.168.209.136:9200/sys-log-*/_settings" -H 'Content-Type: application/json' -d'
{
    "index" : {
        "number_of_replicas" : 0
    }
}
'
curl -X PUT "http://192.168.209.136:9200/mysql-slowlog-*/_settings" -H 'Content-Type: application/json' -d'
{
    "index" : {
        "number_of_replicas" : 0
    }
}'

设置索引模板

系统日志

curl -XPUT http://192.168.209.136:9200/_template/template_sys_log -H 'Content-Type: application/json' -d '
{
    "index_patterns" : ["sys-log-*"],
    "order" : 0,
    "settings" : {
        "number_of_replicas" : 0
    },
    "mappings": {
        "doc": {
            "properties": {
                "message": {
                    "type": "text",
                    "fields": {
                        "keyword": {
                            "type": "keyword",
                            "ignore_above": 256
                        }
                    },
                    "analyzer": "ik_max_word"
                },
                "pid": {
                    "type": "text"
                },
                "serverPort": {
                    "type": "text"
                },
                "logLevel": {
                    "type": "text"
                },
                "traceId": {
                    "type": "text"
                }
            }
    
        }  
 
    }   
}'

慢sql日志

curl -XPUT http://192.168.209.136:9200/_template/template_sql_slowlog -H 'Content-Type: application/json' -d '
{
    "index_patterns" : ["mysql-slowlog-*"],
    "order" : 0,
    "settings" : {
        "number_of_replicas" : 0
    },
    "mappings": {
    	"doc": {
    		"properties": {
    			"query_str": {
    				"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					},
					"analyzer": "ik_max_word"
    			}
    		}
    	}
    }
}'

埋点日志

curl -XPUT http://192.168.209.136:9200/_template/template_point_log -H 'Content-Type: application/json' -d '
{
    "index_patterns" : ["point-log-*"],
    "order" : 0,
    "settings" : {
        "number_of_shards" : 2,
        "number_of_replicas" : 0
    }
}'

十三、安装IK分词器

查询数据，都是使用的默认的分词器，分词效果不太理想，会把text的字段分成一个一个汉字，然后搜索的时候也会把搜索的句子进行分词，所以这里就需要更加智能的分词器IK分词器了

1. 下载

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

注意：这里下载的中文分词插件必须和elasticsearch的的版本一致，但是我们是直接在容器里安装的elk，直接在里面查询版本似乎不太好查询。直接在浏览器上访问elasticsearch的端口号9200就可以看到版本号了。

在这里插入图片描述

下载该文件后，里面保存很多jar包，可以在服务器上创建 ik目录，然后将这个文件加压到 ik目录中，在将ik目录上传到 docker容器的 /opt/elasticsearch/plugins/目录下。默认情况下，/opt/elasticsearch/plugins/目录中是没有 ik这个文件夹的，刚好提前将文件解压到 ik文件夹，在拉取到容器里。

# 床架ik目录
mkdir ik
# 解压到ik中
unzip elasticsearch-analysis-ik-6.5.1.zip -d ik/

在这里插入图片描述

2.登录容器并拷贝 `ik`目录到容器中

登录容器：

docker exec -it 容器ID /bin/bash

exit 针对通过 docker exec 进入的容器，只退出但不停止容器

突出容器

exit

拷贝 ik文件夹到容器中

docker cp 要拷贝的宿主机文件或目录 容器名称:容器文件或目录

在这里插入图片描述

3. 重启容器并检查插件是否安装成功

# 重启容器
docker restart 容器ID

http://192.168.209.136:9200/_cat/plugins

在这里插入图片描述

看到这个画面分词插件就安装成功了。

逍遥客.

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
elasticsearch在docker中安装（推荐）

elasticsearch在docker中安装（推荐）文章目录elasticsearch在docker中安装（推荐）一、修改mmap计数二、下载并运行镜像三、准备elasticsearch的配置文件四、修改elasticsearch.yml配置五、准备logstash的配置文件六、准备logstash的patterns文件八、修改10-syslog.conf配置，改为以下内容九、修改30-out...
复制链接

扫一扫