ELK的安装，快速搭建一个ELK日志分析平台

最新推荐文章于 2024-08-20 18:45:19 发布
最新推荐文章于 2024-08-20 18:45:19 发布
阅读量478 收藏 1
点赞数
分类专栏： os 文章标签： ELK

ELK 是 ElasticSearch、 LogStash、 Kibana 三个开源工具的简称，现在还包括 Beats，其分工如下:

  • LogStash/Beats: 负责数据的收集与处理
  • ElasticSearch: 一个开源的分布式搜索引擎，负责数据的存储、检索和分析
  • Kibana: 提供了可视化的界面。负责数据的可视化操作

基于 ELK Stack 可以构建日志分析平台、数据分析搜索平台等非常有用的项目。

作为学习笔记的第一篇，简单介绍下 ELK 各个软件的安装与简单配置，快速的搭建一个日志的查询平台

一. ElasticSearch 的安装与运行

ES 是一个基于 Lucene 的使用 Java 开发的开源搜索引擎，因此其运行是基于 JVM 的，因此在安装之前需要保证已经安装了 Java 环境。ES 要求使用 Java8 或者更高版本的 Java 环境。

确定机器已经安装了 Java 环境后，就可以安装 ES 了。官网提供了压缩包可以直接下载，

# 下载压缩包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gz
# 解压
tar -xzf elasticsearch-6.2.2.tar.gz
# 进入文件
cd elasticsearch-6.2.2/
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

下载解压完成后进入目录，启动命令在 bin 目录下，直接运行命令就可以启动了

bin/elasticsearch
  • 1

ElasticSearch 的默认启动端口是 9200。手动访问出现如下信息说明启动成功。

这里写图片描述

二. FileBeats 与 LogStash 的安装

LogStash 可以用来对日志进行收集并进行过滤整理后输出到 ES 中，FileBeats 是一个更加轻量级的日志收集工具。 
现在最常用的方式是通过 FileBeats 收集目标日志，然后统一输出到 LogStash 做进一步的过滤，在由 LogStash 输出到 ES 中进行存储。

1. LogStash 的安装运行

官方提供了压缩包下载， https://www.elastic.co/downloads/logstash 。 下载完成后解压即可。

tar zxvf logstash-6.2.2.tar.gz
# 进入目录
cd logstash-6.2.2
  • 1
  • 2
  • 3

LogStash 的运行需要指定一个配置文件，来指定数据的流向，我们在当前目录下创建一个 first.conf 文件，其内容如下:

# 配置输入为 beats
input {
    beats {
            port => "5044"

    }

}
# 数据过滤
filter {
    grok {
            match => { "message" => "%{COMBINEDAPACHELOG}" }

    }
    geoip {
            source => "clientip"

    }

}
# 输出到本机的 ES
output {
    elasticsearch {
            hosts => [ "localhost:9200"  ]

    }

}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

上面配置了 LogStash 输出日志到 ES 中，具体字段在后面的笔记中会详细介绍，这里先用起来再说。 
配置完成后就可以通过如下方式启动 LogStash 了

bin/logstash -f first.conf --config.reload.automatic
  • 1

可以看到命令行会打印出如下信息， 可以看到 LogStash 默认端口为 5044:

[2018-03-08T23:12:44,087][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
[2018-03-08T23:12:44,925][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"6.2.2"}
[2018-03-08T23:12:45,623][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
[2018-03-08T23:12:49,960][INFO ][logstash.pipeline        ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
[2018-03-08T23:12:50,882][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://localhost:9200/]}}
[2018-03-08T23:12:50,894][INFO ][logstash.outputs.elasticsearch] Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://localhost:9200/, :path=>"/"}
[2018-03-08T23:12:51,303][WARN ][logstash.outputs.elasticsearch] Restored connection to ES instance {:url=>"http://localhost:9200/"}
[2018-03-08T23:12:51,595][INFO ][logstash.outputs.elasticsearch] ES Output version determined {:es_version=>nil}
[2018-03-08T23:12:51,604][WARN ][logstash.outputs.elasticsearch] Detected a 6.x and above cluster: the `type` event field won't be used to determine the document _type {:es_version=>6}
[2018-03-08T23:12:51,641][INFO ][logstash.outputs.elasticsearch] Using mapping template from {:path=>nil}
[2018-03-08T23:12:51,676][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>60001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date"}, "@version"=>{"type"=>"keyword"}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}}
[2018-03-08T23:12:51,773][INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//localhost:9200"]}
[2018-03-08T23:12:52,176][INFO ][logstash.filters.geoip   ] Using geoip database {:path=>"/Users/zouyingjie/soft/study/ELK/logstash-6.2.2/vendor/bundle/jruby/2.3.0/gems/logstash-filter-geoip-5.0.3-java/vendor/GeoLite2-City.mmdb"}
[2018-03-08T23:12:53,026][INFO ][logstash.inputs.beats    ] Beats inputs: Starting input listener {:address=>"0.0.0.0:5044"}
[2018-03-08T23:12:53,195][INFO ][logstash.pipeline        ] Pipeline started succesfully {:pipeline_id=>"main", :thread=>"#<Thread:0x66461e40 run>"}
[2018-03-08T23:12:53,290][INFO ][org.logstash.beats.Server] Starting server on port: 5044
[2018-03-08T23:12:53,401][INFO ][logstash.agent           ] Pipelines running {:count=>1, :pipelines=>["main"]}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
2. 安装运行 FileBeats

FileBeats 也提供了下载包，地址为 https://www.elastic.co/downloads/beats/filebeat 。找到系统对应的包下载后解压即可。

tar zxvf filebeat-6.2.2-darwin-x86_64.tar.gz
cd filebeat-6.2.2-darwin-x86_64
  • 1
  • 2

进入目录编辑 filebeat.yml 找到对应的配置项，配置如下

- type: log
   # Change to true to enable this prospector configuration.
    enabled: True

    # Paths that should be crawled and fetched. Glob based paths.
    # 读取 Nginx 的日志
    paths:
      - /usr/local/nginx/logs/*.log

#----------------------------- Logstash output --------------------------------
# 输出到本机的 LogStash
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

配置完成后执行如下命令，启动 FileBeat 即可

# FileBeat 需要以 root 身份启动，因此先更改配置文件的权限
sudo chown root filebeat.yml
sudo ./filebeat -e -c filebeat.yml -d "publish"
  • 1
  • 2
  • 3

三. Kibana 的安装运行

Kibana 也提供了对应的安装包下载，链接为 https://www.elastic.co/downloads/kibana , Mac、Linux、Win 都有对应的安装包，直接下载解压即可

tar zxvf kibana-6.2.2-darwin-x86_64.tar.gz
cd kibana-6.2.2-darwin-x86_64
# 直接启动即可
bin/kibana
  • 1
  • 2
  • 3
  • 4

Kibana 默认链接了本机的 9200 端口，其绑定的端口为 5601，启动成功后直接访问 127.0.0.1:5601 端口即可,界面如下。我因为安装了 x-pack 插件因此显示的项可能会多一些，这个暂时忽略.

这里写图片描述

点击右上方的 Discover. 界面会提示创建索引模式，通过这个来检索 ES 中的索引，可以看到已经有一个 Logstash 的索引了，输入名称进行完全匹配，

这里写图片描述

这里选定一个时间戳，使用默认的 timestamp 即可，设置完成后我们可以根据时间范围筛选数据。

这里写图片描述

设置完成后创建后显示如下

这里写图片描述

这时在点击 Discover 就可以看到我们创建的索引了，此时输入 UnicodeEncodeError 已经返回了匹配到的日志信息。 
这里写图片描述

至此就完成了简单的日志分析平台的搭建。OK，关于安装就介绍到这里，后面正式开始对整个 ELK Stack 的学习。

myself8202
关注
专栏目录
Docker快速搭建ELK日志分析平台
悦分享
10-12 1674
ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可见Elasticsearch提供的搜索能力确实强大,市面上很多时候我们简称Elasticsearch为es。
ELK日志分析监控平台
派大星的不眠博客
02-21 1万+
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
ELK日志平台---老男孩教育笔记
weixin_33699914的博客
07-11 561
环境的困境（原因）1、开发人员不能登录线上服务器查看相信日志；2、各个系统都有日志，日志数据分散难以查找；3、日志数据量大，查询速度慢，或者数据不够及时。（状态码 400 的 top10）收集->存储->统计->报警、、、Elastic Search + Logstash +Kibana = ELK Stack1、分布式全文搜索引擎、存储 2、日志收集（日...
【ELK笔记】ELK的安装，快速搭建一个ELK日志分析平台
艾希射日
03-19 2万+
ELK 是 ElasticSearch、 LogStash、 Kibana 三个开源工具的简称，现在还包括 Beats，其分工如下: LogStash/Beats: 负责数据的收集与处理 ElasticSearch: 一个开源的分布式搜索引擎，负责数据的存储、检索和分析 Kibana: 提供了可视化的界面。负责数据的可视化操作 基于 ELK Stack 可以构建日志分析平台、数据分析搜索平...
ELK基础搭建
最新发布
。
08-20 1355
一、认识ELK ELK是一套开源的日志分析系统，由elasticsearch+logstash+Kibana组成。 官网说明：https://www.elastic.co/cn/products 首先: 先一句话简单了解 E，L，K 这三个软件 elasticsearch: 分布式搜索引擎 logstash: 日志收集与过滤，输出给elasticsearch Kibana: 图形化展示 部署环境 192.168.100.115 vm1.example.com vm1 192.168.100.116
elk笔记10--filebeat使用
脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到
07-12 540
elk笔记10--filebeat使用1 filebeat 介绍2 filebeat 使用案例2.1 软件安装2.2 采集数据到 kafka2.3 采集数据到 es3 使用技巧3.1 filebeat将日志按照类别发送到不同kafka3.2 filebeat将日志按照类别发送到不同es index4 说明 1 filebeat 介绍 Filebeat 是一个用于转发和集中化日志数据的轻量级工具，它一般作为agent安装在服务器上。它监控日志文件和文件夹，收集日志事件，并转发到logstash、ES或者Kaf
解决logstash报错[ERROR][logstash.config.sourceloader] No configuration found in the configured sources.
巨魔战将
11-07 1万+
在做产品研发环境部署是，发现一个错，记录下来，以给遇到同样问题的筒子们 报错信息： [troll@standalone logstash-6.4.3]$ bin/logstash -f data-conf/zipkin-server.conf Sending Logstash logs to /var/log/logstash which is now configured via log4j2...
logstash报错问题解决：Logstash stopped processing because of an error: (SystemExit) exit
BigCabbageFy的博客
09-05 3万+
在启动logstash过程中出现了无法启动的情况，事情经过是这样的，首先我在第一次启动的过程中是正常的可以正常运行，就像下方代码显示：在输入hello word 后，logstash可以正常输出。 [root@hadoop bin]# logstash -e "" Thread.exclusive is deprecated, use Thread::Mutex Sending Logstash ...
ELK日志分析平台搭建全过程
01-27
总结起来，搭建ELK日志分析平台需要依次安装和配置JDK、Elasticsearch、Logstash和Kibana，同时考虑系统环境、权限管理和日志格式解析。这个过程虽然涉及多个步骤，但一旦完成，将为监控和分析日志提供强大工具，...
OpenStack环境搭建ELK日志分析系统.zip
07-22
搭建ELK日志分析系统在OpenStack中的步骤大致如下： 1. **安装和配置Elasticsearch**：在适合的服务器上安装Elasticsearch，配置网络设置，以便Logstash和Kibana能够与其通信。可能需要调整内存分配、索引策略等，...
ELK日志平台搭建安装包和文档
08-28
总之，ELK日志平台是一个功能强大的日志管理和分析工具，它提供了从收集、处理到可视化的完整解决方案。有了详尽的部署文档，用户可以轻松地在自己的环境中搭建并使用这套系统，以便更好地管理和理解日志数据，提高...
ELK6.2.4搭建
11-15
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站：https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 ELK下载：https://www.elastic.co/downloads/ ELK工作原理： ElasticSearch 配置ElasticSearch： 1 2 unzip elasticsearch-6.2.4.zip cd elasticsearch-6.2.4 然后编辑ES的配置文件： 1 vi config/elasticsearch.yml 修改以下配置项： 1 2 3 4 5 6 7 cluster.name=es_cluster node.name=node0 path.data=/tmp/elasticsearch/data path.logs=/tmp/elasticsearch/logs #当前hostname或IP，我这里是node1 network.host=node1 network.port=9200 其他的选项保持默认，然后启动ES： 1 nohup sh elasticsearch > nohup.log & 注意： 1.需要添加用户elk,ES不能以root用户进行启动 2.可能出现的错误： max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] 1 2 3 vi /etc/security/limits.conf elk soft nofile 819200 elk hard nofile 819200 max number of threads [1024] for user [work] likely too low, increase to at least [2048] 1 2 3 4 vi /etc/security/limits.d/90-nproc.conf * soft nproc 1024 #修改为： * soft nproc 2048 max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] 1 2 3 4 5 vi /etc/sysctl.conf #增加改行配置： vm.max_map_count=655360 #保存退出后，执行： sysctl -p 另外再配置ES的时候，threadpool.bulk.queue_size 已经变成了thread_pool.bulk.queue_size ，ES_HEAP_SIZE，ES_MAX_MEM等配置都变为ES_JAVA_OPTS这一配置项，如限制内存最大最小为1G： 1 export ES_JAVA_OPTS="-Xms1g -Xmx1g" 然后可以打开页面http://node1:9200/，将会看到以下内容：(我是通过外部访问虚拟机，因此为了简单没有配置host文件，直接用ip访问) Logstash 配置Logstash： 1 2 tar -zxvf logstash-6.2.4.tar.gz cd logstash-6.2.4 编写配置文件(名字和位置可以随意，这里我放在config目录下，取名为log_app.conf)： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 vi config/log_app.config #以下为内容 input { file { path => "/usr/local/software/elk/app.log" start_position => "beginning" #从文件开始处读写 } # stdin {} #可以从标准输入读数据 } filter { #Only matched data are send to output. } output { # For detail config for elasticsearch as output, # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html elasticsearch { action => "index" #The operation on ES hosts => "node1:9200" #ElasticSearch host, can be array. index => "applog" #The index to write data to. } } 其他的选项保持默认，然后启动Logstash： 1 2 # -f为指定配置文件 nohup sh ./bin/logstash -f ../config/log_app.config > nohup.log & 日志： Kibana 配置Kibana： 1 2 tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz cd kibana-6.2.4-linux-x86_64 修改以下几项（由于是单机版的，因此host的值也可以使用localhost来代替，这里仅仅作为演示）： 1 2 3 4 server.port: 5601 server.host: “node1” elasticsearch.url: http://node1:9200 kibana.index: “.kibana” 启动kibana： 1 nohup sh ./bin/kibana > nohup.log & 启动后界面： 然后需要创建index，步骤如下： ①点击左边iscover出现以下界面 ②按照注释配置,然后点击Next step,在第二页 选择@timestamp点击create创建 ③创建完成之后,可以看到以下一个界面,红框内是 自动生成的域,也可以理解为 跟数据库中的字段类似,其中有一个message字段,就是我们想要的日志信息。 ④再次点击Discover出现以下界面,可以看到默认搜索的是最后15分钟的日志,可以通过点击设置搜索的时间范围. ⑤可以点击右侧域的add设置需要显示的字段 添加完成之后,日志显示如下：
ELK详细安装部署
banzhi2663的博客
03-01 293
一、前言 ​ 日志主要包括系统日志和应用程序日志，运维和开发人员可以通过日志了解服务器中软硬件的信息，检查应用程序或系统的故障，了解故障出现的原因，以便解决问题。分析日志可以更清楚的了解服务器的状态和系统安全状况，从而可以维护服务器稳定运行。 ​ 但是日志通常都是存储在各自的服务器中。如果管理数十台服务器， 查阅日志需要依次登陆不同的服务器，查看过程就会很繁琐从而导致工作效率低下。虽然可...
logstash-input-file使用
老柴菜鸟
04-20 1万+
要学习该插件，第一步先让该插件跑起来再说 首先，我们创建一个文本文件, 文本文件的内容如下 [sqczm@sqczm first]$ pwd /opt/logstash-6.7.1/demo/first [sqczm@sqczm first]$ more users.txt name: zhangsan, age: 21, addr: "中国 北京" name: lisi, age:20,add...
CentOS7搭建ELK-6.2.3版本
06-25 911
ELK是ElasticSerach、Logstash、Kibana三款产品名称的首字母集合，用于日志的搜集和搜索，今天我们一起搭建和体验基于ELK的日志服务；环境规划本次实战需要两台电脑（或者vmware下的两个虚拟机），操作系统都是CentOS7，它们的身份、配置、地址等信息如下：hostnameIP地址身份配置elk-server192.168.119.132ELK服务端,接收日志，提供日志搜...
mysql数据抽取同步至elasticsearch中
loup的专栏
07-04 2万+
了解了几种方式：    1.使用mysql的binlog日志，这个可以使用阿里的canal，进行同步至es中    2.使用es官方推荐的logstash-input-jdbc，这是logstash的一个插件，源码地址logstash-input-jdbc首先，安装logstash，此处不再赘述，由于logstash-input-jdbc使用ruby快发，所以还需要安装ruby，选择下载安装，安装...
logstash-启动
热门推荐
大帅的博客
08-26 3万+
logstash依赖于JDK，所以需要先安装JAVA_HOME环境变量 安装路径需要注意，不能含有冒号（:）
ELK日志分析系统快速搭建与实战指南
"快速搭建ELK日志分析系统" ELK日志分析系统是由Elasticsearch、Logstash和Kibana三个组件组成的开源工具集合，主要用于日志管理和数据分析。这个系统可以帮助用户收集、处理、存储和展示来自各种来源的日志数据。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值