ELK部署

已于 2023-03-08 18:33:42 修改
阅读量174 收藏
点赞数
文章标签： elk elasticsearch 大数据
于 2023-03-07 17:25:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haodayizhizhuzhu/article/details/129377687
版权

内容导航

（一）安装elasticsearch

1 创建es安装路径

mkdir -p /data/es/{logs,data}

2 创建用户

useradd elastic -s /sbin/nologin
chown elastic -R /data/es

3 修改limit限制

vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

4 修改内核参数并使之生效

vim /etc/sysctl.conf

vm.overcommit_memory = 1 
#内核允许分配所有的物理内存，而不管当前的内存状态如何。
vm.max_map_count=655360
#max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量

sysctl -p

5 上传elasticsearch包到/data/es/目录。

cd /data/es
wget -c https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz
tar -xvf elasticsearch-7.1.1-linux-x86_64.tar.gz
mv elasticsearch-7.1.1 elasticsearch

6 修改elasticsearch.yml

 mv elasticsearch/config/elasticsearch.yml elasticsearch/config/elasticsearch.yml-template
 vim  elasticsearch/config/elasticsearch.yml 

cluster.name: elkcluster #集群名称
node.name: elk    	  #节点名称
cluster.initial_master_nodes: ["elk"] #主节点信息
path.data: /data/es/data       #数据存放路径
path.logs: /data/es/logs       #日志存放路径
bootstrap.memory_lock: false   
bootstrap.system_call_filter: false
network.host: 0.0.0.0				#所有ip可以访问，
discovery.seed_hosts: ["elk"] #输出至elasticsearch服务器
discovery.zen.minimum_master_nodes: 2 	#最多有几个可参与主节点选举
http.cors.enabled: true
http.max_initial_line_length: "1024k"
http.max_header_size: "1024k"

7 jvm heap分配设置堆内存值。 -Xms4g:初始化堆内存大小为2GB

vim elasticsearch/config/jvm.options

-Xms2g
-Xmx2g
#es7.6版本默认1GB，这个值太小，很容易导致OOM，大小不要超过物理内存的50%，最大值和最小值要相同，避免jvm heap在运行中resize，这是一个非常耗性能的过程。
#环境变量：ES_HEAP_SIZE，环境变量的优先级高于jvm.options中的设置的数值。

8 ik分词器安装
将准备好的ik分词器安装包解压后将文件复制到 es的安装目录/plugins/ik下面即可，没有目录则自行创建目录，目录文件夹下不能有其他东西

cd /data/es/elasticsearch/plugins/
mkdir ik
wget -c https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.1.1/elasticsearch-analysis-ik-7.1.1.zip
unzip elasticsearch-analysis-ik-7.1.1.zip

9 启动elasticsearch

chown  elastic -R /data/es/
su - elastic -s /bin/bash -c "/data/es/elasticsearch/bin/elasticsearch -d"

service文件

vim /usr/lib/systemd/system/elastic.service

[Unit]
Description=Elasticsearch server daemon
After=network.target

[Service]
User=elastic
Group=elastic
LimitNOFILE=100000
LimitNPROC=100000
ExecStart=/data/es/elasticsearch/bin/elasticsearch
ExecReload=/bin/kill -HUP $MAINPID
ExecStop=/bin/kill -SIGINT $MAINPID
KillMode=process
#Restart=always
Restart=on-failure
RestartSec=42s

[Install]
WantedBy=multi-user.target

10 访问x.x.x.x:port
在这里插入图片描述
11 配置 TLS
生成CA证书(一路回车就行)

cd /data/es/elasticsearch/bin
./elasticsearch-certutil ca
./elasticsearch-certutil cert --ca elastic-stack-ca.p12
mkdir /data/es/elasticsearch/config/certs
mv elastic-*.p12 config/certs/
chown -R elastic:elastic config/certs/

生成elastic-stack-ca.p12文件

./bin/elasticsearch-certutil ca

生成elastic-certificates.p12文件，供elasticsearch使用

./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

生成newfile.crt.pem文件，供kibana和filebeat连接elastic认证使用，复制到各自对应目录下

openssl pkcs12 -in elastic-stack-ca.p12 -out newfile.crt.pem -clcerts -nokeys

生成certificate-bundle.zip文件，包含ca/ca.crt，instance/instance.crt，instance/instance.key

./bin/elasticsearch-certutil cert --pem elastic-stack-ca.p12

使用yml文件生成证书

vim /tmp/instance.yml

instances:
  - name: 'server1'
    dns: [ 'server1.example.com' ]
    ip: [ '192.168.0.11' ]
  - name: "server2"
    dns: [ 'server2.example.com' ]
    ip: [ '192.168.0.12' ]
  - name: 'server3'
    dns: [ 'server3.example.com' ]
    ip: [ '192.168.0.13' ]
  - name: 'centos-8'
    dns: [ 'centos-8.example.com' ]
    ip: [ '192.168.0.14' ]

./elasticsearch-certutil cert --keep-ca-key ca --pem --in /tmp/instance.yml --out /tmp/certs/certs.zip

vim /data/nusp/es/elasticsearch-7.1.1/config/elasticsearch.yml

只开启https，不验证

xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.http.ssl.truststore.path: certs/elastic-certificates.p12

配置认证用户
手动配置每个用户密码模式（需要一个一个的输入）

cd /data/es/elasticsearch/bin
./elasticsearch-setup-passwords interactive

自动配置每个用户密码（随机生成并返回字符串密码,需要保存好）

./elasticsearch-setup-passwords auto

开启安全验证

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate		# 证书认证级别
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.keystore.type: PKCS12
xpack.security.transport.ssl.truststore.path: certs/elastic-stack.p12#（也可用certs/elastic-certificates.p12）
xpack.security.transport.ssl.truststore.type: PKCS12

示例：


cluster.name: elkcluster #集群名称
node.name: elk            #节点名称
cluster.initial_master_nodes: ["elk:9300"] #主节点信息
path.data: /data/es/data       #数据存放路径
path.logs: /data/es/logs       #日志存放路径
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0                           #所有ip可以访问，
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["elk:9300"] #输出至elasticsearch服务器
discovery.zen.minimum_master_nodes: 2   #最多有几个可参与主节点选举
http.cors.enabled: true
http.max_initial_line_length: "1024k"
http.max_header_size: "1024k"

#配置集群密码
#xpack.security.enabled: true

#用HTTPS方式访问es(method1/2)
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.key: /data/es/elasticsearch/config/certs/private.key
xpack.security.http.ssl.certificate: /data/es/elasticsearch/config/certs/private.crt
xpack.security.http.ssl.certificate_authorities: /data/es/elasticsearch/config/certs/CA-certificate.crt

#xpack.security.http.ssl.enabled: true
#xpack.security.http.ssl.keystore.path: /data/es/elasticsearch/config/certs/elk.p12
#xpack.security.http.ssl.truststore.path: /data/es/elasticsearch/config/certs/elk.p12

##集群内部通信(method1/2)
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.key: /data/es/elasticsearch/config/certs/private.key
xpack.security.transport.ssl.certificate: /data/es/elasticsearch/config/certs/private.crt
xpack.security.transport.ssl.certificate_authorities: ["/data/es/elasticsearch/config/certs/CA-certificate.crt"]

#xpack.security.transport.ssl.enabled: true
#xpack.security.transport.ssl.verification_mode: certificate             # 证书认证级别
#xpack.security.transport.ssl.keystore.path: /data/es/elasticsearch/config/certs/elastic-certificates.p12
#xpack.security.transport.ssl.truststore.path: /data/es/elasticsearch/config/certs/elastic-certificates.p12

（二）部署kibana

1 上传kibana的tar包

cd /data/es
wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-linux-x86_64.tar.gz
tar -xvf kibana-7.1.1-linux-x86_64.tar.gz
mv kibana-7.1.1-linux-x86_64/ kibana

2 修改配置文件

mv kibana/config/kibana.yml kibana/config/kibana.yml-template
vim kibana/config/kibana.yml

server.port: 5601       #修改绑定ip，使外部可以通过http访问
server.host: "0.0.0.0"  ##监听端口，可以不修改
elasticsearch.hosts: ["https://127.0.0.1:9200"]
i18n.locale: "zh-CN"

#elastic访问账号(如果存在)
#elasticsearch.username: "xx"
#elasticsearch.password: "xx"
#kibana访问elastic集群(method1/2)
elasticsearch.ssl.verificationMode: certificate
elasticsearch.ssl.certificateAuthorities: ["/data/es/kibana/config/certs/CA-certificate.crt"]

#elasticsearch.ssl.verificationMode: none
#elasticsearch.ssl.certificateAuthorities: ["/data/es/kibana/config/certs/kibana.crt.pem"]

#ssl访问kibana
server.ssl.enabled: true
server.ssl.certificate: /data/es/kibana/config/certs/private.crt
server.ssl.key: /data/es/kibana/config/certs/private.key

3 启动kibana

cd kibana/bin/
./kibana &

service文件

vim /usr/lib/systemd/system/kibana.service

[Unit]
Description=kibana server daemon
After=network.target
 
[Service]
User=elastic
Group=elastic
ExecStart=/bin/bash -c "exec /data/es/kibana/bin/kibana"
ExecReload=/bin/kill -HUP $MAINPID
ExecStop=/bin/kill -SIGINT $MAINPID
KillMode=process
#Restart=always
Restart=on-failure
RestartSec=42s
 
[Install]
WantedBy=multi-user.target

4 访问kibana
x.x.x.x:port
在这里插入图片描述

（三）部署logstast

1 上传包

cd /data/es
wget -c https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.tar.gz
tar -xvf logstash-7.1.1.tar.gz
mv logstash-7.1.1/ logstash
mkdir /data/es/logstash/logs
chown  elastic -R /data/es/

2 编辑pipelines.yml,mall.conf文件（演示）

vim /data/es/logstash/config/pipelines.yml

- pipeline.id: mall
  pipeline.workers: 1 #CPU内核数
  pipeline.output.workers: 1 #CPU内核数，这个配置可能会诱发报错。注释掉
  pipeline.batch.size: 1000 # 每次发送的事件数
  pipeline.batch.delay: 5 # 发送延时
  path.config: "/data/es/logstash/config/mall.conf"

vim /data/es/logstash/config/mall.conf

input {
file {
    path => "/data/test.txt"
  }

}

filter {
}

output {
	stdout { }
}

针对 Beats 输入插件，将 logstash.key 转换为 PKCS#8 格式

openssl pkcs8 -in logstash.key -topk8 -nocrypt -out logstash.pkcs8.key

input {
    beats {
      port => 5044
      ssl => true
      ssl_certificate_authorities => ["/data/es/logstash/config/certs/CA-certificate.crt"]
      ssl_certificate => "/data/es/logstash/config/certs/private.crt"
      ssl_key => "/data/es/logstash/config/certs/private.pkcs8.key"
      #ssl_verify_mode => "force_peer"
      ssl_verify_mode => "peer"
      #Logstash server 是否验证 Filebeat client 证书。
      #有效值有 peer 或 force_peer。如果是 force_peer，
      #表示如果 Filebeat 没有提供证书，Logstash server 就会关闭连接。
      include_codec_tag => false
      #kibana每个文档中都有该tag“beats_input_codec_plain_applied”
      client_inactivity_timeout => 36000
      #通过修改配置 添加client_inactivity_timeout => 36000,filebeat偶尔连不上logstash
    }

}

filter {
  if "mall" in [tags] {
   dissect {
       mapping => {
         "[log][file][path]" => "/%{}/%{}/%{}/%{}/%{ject}/%{}/%{}/%{rank}/%{}"
       }
   }
  }
}

output {
    if "dev" in [tags] {
      elasticsearch {
        hosts => ["elk:9200"]	
        index => "dev-%{rank}-%{ject}-%{+YYYY.MM.dd}"
        ssl => true
        cacert => "/data/es/logstash/config/certs/CA-certificate.crt"
        user => "xxx"
    	password => "xxx"
      }
    }
}

yml文件。

node.name: elk
path.data: /data/es/logstash/data
#http.host: "192.168.1.241"
http.port: 9700
path.logs: /data/es/logstash/logs
#path.config: /home/logstash/logstash-7.5.1/config/conf/*.conf

xpack.monitoring.enabled: true
#xpack.monitoring.elasticsearch.username: logstash_system
#xpack.monitoring.elasticsearch.password: TBQOrC23OjbivKfqonMg
xpack.monitoring.elasticsearch.hosts: ["https://172.16.0.1:9200"]
xpack.monitoring.elasticsearch.ssl.certificate_authority: "/data/es/logstash/config/certs/CA-certificate.crt"

3 启动logstash

su - elastic -s /bin/bash -c "/data/es/logstash/bin/logstash &"

service文件

vim /usr/lib/systemd/system/logstash.service

[Unit]
Description=logstash server daemon
After=network.target
 
[Service]
User=elastic
Group=elastic
ExecStart=/bin/bash -c "/data/es/logstash/bin/logstash"
ExecReload=/bin/kill -HUP $MAINPID
ExecStop=/bin/kill -SIGINT $MAINPID
KillMode=process
#Restart=always
Restart=on-failure
RestartSec=42s
 
[Install]
WantedBy=multi-user.target

4 向文件中输入内容测试
在这里插入图片描述

（四）使用filebeat收集日志

filebeat --> logstash -->elasticsearch
1 上传filebeat包

cd /data/es
wget -c https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-linux-x86_64.tar.gz
tar -xvf filebeat-7.1.1-linux-x86_64.tar.gz
mv filebeat-7.1.1-linux-x86_64 filebeat
vim filebeat/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /data/logs/*/*.log
  tags: ["mall","dev"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
setup.template.settings:
  index.number_of_shards: 1
output.logstash:
  hosts: ["logstash:5044"]
#output.console:
#  pretty: true
  compression: gzip
  max_message_bytes: 1000000
  loadlance: true  #logstash负载均衡配置 
  ssl.certificate_authorities: ["/home/beats/filebeat-7.5.1/certs/ca.crt"] 
  ssl.certificate: "/home/beats/filebeat-7.5.1/certs/filebeat.crt" 
  ssl.key: "/home/beats/filebeat-7.5.1/certs/filebeat.key
processors:
  - drop_fields:
      fields: ["agent","ecs","input","type"]

./filebeat -e -c filebeat.yml

service文件

[Unit]
Description=filebeat server daemon
After=network.target
 
[Service]
User=elastic
Group=elastic
Environment="BEAT_CONFIG_OPTS= -e -c /data/es/filebeat/filebeat.yml" 
ExecStart=/data/es/filebeat/filebeat $BEAT_CONFIG_OPTS 
ExecReload=/bin/kill -HUP $MAINPID
ExecStop=/bin/kill -SIGINT $MAINPID
KillMode=process
#Restart=always
Restart=on-failure
RestartSec=42s
 
[Install]
WantedBy=multi-user.target

（五）参考文章地址

文章参考地址
证书相关可参考

好大一只猪猪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK配置
机会是留给有准备的人的
11-29 451
Elasticsearch、Logstash、Kibana简称ELK，日志收集使用Filebeat，以下配置基于Ubuntu Server 1.Elasticseach安装配置 下载elasticsearch.tar压缩包，并解压至ES_HOME目录 1.1修改ES_HOME/config/elasticsearch.yml       cluster.name: ES-Clu
ELK超详细配置
热门推荐
weixin_47403060的博客
11-18 1万+
一、ELK日志分析系统简介 ELK日志分析系统是Logstash、Elasticsearch、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示 1.1、ELK日志分析系统组成 elasticsearch（es）：通过搭建群集；存储日志数据，索引日志数据 logstash ：收集日志，收集到了后给es存储 kibana ：视图形式展现日志信息，更加人性化 1.2、日志处理步骤 1.将日志进行集中化管理 2.将日志格式化（Logstash
ELK配置总结
weixin_33728708的博客
09-21 142
在经过了近半个月的ELK环境的搭建配置，我做了我个人的工作总结，和大家分享一下。一、命令总结1.1、Es服务端口查看# netstat -nlpt | grep -E"9200|9300"1.2、Es插件安装和移除# ./bin/plugin install file:///home/apps/license-2.3.3.zip# ./bin/plugin install...
elk 部署
jialiu111111的博客
01-21 1204
https://artifacts.elastic.co/downloads/logstash/logstash-7.5.2.tar.gz https://artifacts.elastic.co/downloads/kibana/kibana-7.5.2-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz tar -zxvf ela
ELK部署文档.docx
03-24
总的来说，ELK部署文档详细介绍了Logstash的环境准备、安装过程以及基础配置，为实现高效、灵活的日志管理和分析提供了基础步骤。在实际操作中，还需要根据具体的需求，配置相应的Elasticsearch和Kibana，以实现完整...
ELK部署中文指南.
03-25
《ELK部署中文指南.pdf》 《ELK部署中文指南.pdf》 《ELK部署中文指南.pdf》
elk部署包简单版本11111
最新发布
12-25
这个“elk部署包简单版本11111”很可能是为了简化ELK环境的搭建过程而打包的资源集合，可能包含了Elasticsearch、Logstash和Kibana的基础配置和必要的插件，使得用户能够快速在本地或服务器上部署一个基础的日志管理...
ELK部署中文指南
09-26
ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 ...
ELK部署问题汇总1
08-08
本文将汇总ELK部署过程中常见的问题及其解决方案。 首先，我们来看Logstash的部分。Logstash是一个用于收集、解析、过滤和转发日志事件的工具。配置文件中的`input`和`output`部分分别定义了输入源和输出目标。当...
ELK的安装配置
绿萝蔓蔓绕枝生
09-02 536
一、Elasticsearch简介 Elasticsearch 简称 ES 是一个基于 RESTful web 接口并且构建在 Apache Lucene 之上的开源分布式搜索引擎。 特点是：高可用，高扩展，是一种NOSQL的数据存储工具 二、准备安装包 安装包自行下载 1、elasticsearch-6.2.2.tar.gz 2、elasticsearch-head-master.zip 3、kibana-6.2.2-linux-x86_64.tar.gz 4、logstash-6.2.2.tar.gz
ELK 部署及配置
weixin_42808782的博客
04-10 1667
ELK即ElasticSearch、Logstash和Kibana，是由这三个软件组成的，能够实现日志入库和日志检索，安装也较为简单，下面介绍安装部署方法： 一、下载软件： 三个软件的下载，可访问我的网盘： 链接：https://pan.baidu.com/s/1yqPaX4ElR-AGIy4azS0Yuw 提取码：aabd 复制这段内容后打开百度网盘手机App，操作更方便哦 二、部署说明 环境 centos7 192.168.10.134 部署ElasticSearch 192.168.10.135 部
ELK配置和使用说明
qq_45425667的博客
03-12 5007
Elastic Stack 简介与安装 一、简介 Elastic Stack 技术栈，简称ELK。包含的核心组件是Beats(Filebeat、Metricbeat等)、Logstash、Elasticsearch、Kibana。 官网：https://www.elastic.co/cn/ 本次使用的组件版本号： filebeat-7.8.0-linux-x86_64 logstash-7.8.0 elasticsearch-7.8.0-x86_64 注： 目前Elastic Stack所有组件，官网
ELk安装配置
yangkailan的博客
05-29 1540
环境系统：centOS6.8/7.0 jdk版本：1.8以上 ELK版本：6.0.1一、创建部署用户Elasticsearch 的安装需要在非root用户下安装，而且需要修改系统部分配置，需要给用户配置sudo权限。添加用户$ useradd elastic$ passwd elastic给elastic用户用户配置sudo权限用root编辑 vi /etc/sudoers 在文件的如下位置，为e...
ELK详细安装配置
ccren的专栏
06-19 1240
啥都别说了直接上命令
elk配置安装
Chris__Wang_的博客
07-17 147
[1]: elk组件 https://www.elastic.co/cn/downloads/past-releases 下载各个组件 1. logstash https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz 2. filebeat https://artifacts.elastic.co/downloa...
ELK环境的搭建和配置
mtsbv110的专栏
09-22 1088
编写日期：2016-09-19 编写作者：mtsbv110 邮    箱：2532874889@qq.com   部署环境 操作系统: ：CentOS Linux release 7.2.1511 (Core) cat /etc/redhat-release Mysql版本：mysql-5.6.26.tar.gz 操作用户：  root 系统IP：    192.168.9.66 
Filebeat+ELK 部署
07-12
你好！对于部署Filebeat和ELK（Elasticsearch, Logstash, Kibana）的步骤，可以按照以下指南...以上是一个基本的Filebeat+ELK部署过程。请根据您的需求和环境进行相应的配置和调整。如果有进一步的问题，请随时提问！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值