ELK环境搭建以及部署

最新推荐文章于 2024-07-06 17:01:50 发布
置顶 最新推荐文章于 2024-07-06 17:01:50 发布
阅读量477 收藏
点赞数
分类专栏： ELK 文章标签： ELK Kibana Elasticsearch集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muziyangyu520/article/details/100663830
版权

文章目录

ELK部署文档

1、Elasticsearch安装部署（见Es集群搭建中的步骤）

2、Logstash安装部署

  1. 下载logstash-7.0.0.tar.gz

  2. 解压文件：tar -xzvf logstash-7.0.0.tar.gz

  3. 添加配置文件 logstash-7.0.0/config/first-pipeline.conf，配置文件可以在启动时指定，所以可以创建一个新的配置文件，配置如下：

    #日志输入
input {
  #通过filebeat、logback等推送接收数据
  beats {
    port => "5044"
  }
  #通过tcp日志追加器推送接收数据
  tcp {
     port => 8866
     codec => json_lines
  }
}

#数据过滤器
filter {
	#通过grok过滤器组件COMBINEDAPACHELOG模式可以解析出一定的内容，如IP信息等
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
	#通过IP信息解析为具体的地理坐标
    geoip {
        source => "clientip"
    }
}

#日志输出
output {
	#输出到控制台
    stdout { codec => rubydebug }
	#输出到es集群
    elasticsearch {
        hosts => [ "127.0.0.1:9200" ]
		#创建的es索引名为appname对应的值
        index => "%{[appname]}"
    }
}

  4. 启动Logstash

    #指定配置文件并进行测试，如果配置有错误会输出具体的错误信息
bin/logstash -f first-pipeline.conf --config.test_and_exit
#指定配置文件启动，选项启用自动配置重新加载，不必在每次修改配置文件时停止并重新启动
bin/logstash -f first-pipeline.conf --config.reload.automatic

  5. 使用filebeat推送日志

    1. 下载：filebeat-7.0.0-linux-x86_64.tar.gz

    2. 解压：tar -xzvf filebeat-7.0.0-linux-x86_64.tar.gz

    3. 修改配置文件：vim …/filebeat-7.0.0/filebeat.yml，配置如下

      #输入
filebeat.inputs:
- type: log
  enabled: true
  paths:
    #读取指定路径下的日志文件，可以使用通配符、具体的文件名
    - /home/lixiang/ELK/*.log
    
#输出 
output.logstash:
  #输出给logstash
  hosts: ["localhost:5044"]

    4. 启动filebeat，推送出去的日志可以再logstash控制台输出或者Elasticsearch中

      #如果要重新推送之前已经推送过的数据需要删除这个注册文件
rm -r data/registry
#启动filebeat以后日志会自动推送给logstash管道
./filebeat -e -c filebeat.yml -d "publish"

  6. 项目中配置logback进行TCP推送日志，配置如下：

    <!--TCP追加器-->
<appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
	<destination>127.0.0.1:9600</destination>
		<!--请求者信息字段打开,打开后可获取类的方法名以及行号，会消耗更多的性能-->
		<includeCallerData>true</includeCallerData>
		<encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
			<providers>
				<pattern>
					<pattern>
						{
						"date": "%d{yyyy-MM-dd HH:mm:ss}",
						"thread": "%thread",<!--线程名称 -->
						"level": "%level", <!--日志等级 -->
						"code": "%code", <!--自定义错误码-->
						"logger_name": "%logger", <!--日志记录器名,一般显示为类名-->
						"class_name": "%class", <!--类名 -->
						"method_name": "%method",  <!--方法名 -->
						"line_number": "%line", <!--行号 -->
						"message": "%message", <!--日志主题信息 -->
						"appname":"demo220"
						}
					</pattern>
				</pattern>
			</providers>
		</encoder>
</appender>

    需要添加相应的maven依赖：

            <!--logstash日志依赖-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>4.11</version>
        </dependency>

3、Kibana安装部署

  1. 下载：kibana-7.0.0-linux-x86_64.tar.gz

  2. 解压文件：tar -xzvf kibana-7.0.0-linux-x86_64.tar.gz

  3. 修改配置文件：vim …/kibana-7.0.0-linux-x86_64/config/kibana.yml，配置如下：

    server.port: 5601	#服务端口号
server.host: "0.0.0.0"	#服务IP,0.0.0.0 表示服务器所在网段均能访问
elasticsearch.hosts: ["http://127.0.0.1:9200"]或者elasticsearch.hosts: "http://127.0.0.1:9200" #Elasticsearch集群ip
i18n.locale: "zh-CN" #国际化中文显示

  4. 启动kibana：…/bin/kibana

    启动成功后访问：http://127.0.0.1:5601 进入可视化界面，如下图所示：
    [外链图片转存失败(img-KNBc8YTx-1568013345527)( “k001”)]

  5. 部分配置说明

    kibana部分配置说明

    配置项配置说明
    server.host指定Kibana服务器将绑定到的地址
    server.name用于标识此Kibana实例的可读显示名称
    server.port默认值：5601，设置指定要使用的端口
    server.defaultRoute默认跳转路径，默认为/app/kibana
    kibana.defaultAppId进入时默认显示页面
    console.enabled默认值：true，设置值：false以禁用控制台，即开发工具处的控制台
    xpack.apm.enabled默认值：true，设置值：false以禁用apm,菜单栏将会隐藏
    elasticsearch.hostses集群url地址
    kibana.indexKibana在ElasticSearch中使用索引来存储
    server.maxPayloadBytes传入服务器请求的最大负载大小（字节）
    xpack.graph.enabled设置为false禁用图表分析功能
    xpack.infra.enabled设置为false禁用基础设置和日志功能，菜单栏将会隐藏
    xpack.infra.sources.default.fields.timestamp用于对日志条目进行排序的时间戳。默认为@timestamp
    xpack.ml.enabled设置为true（默认）false关闭Kibana机器学习功能，菜单栏将会隐藏
    xpack.monitoring.enabled设置为false隐藏Kibana中的监控UI
    xpack.spaces.enabled设置为false关闭空间设置，在管理中隐藏空间设置
    i18n.locale国际化 en或者zh-CN

4、kibana基本模块使用

1、Discover搜索模块

搜索模块如下图所示：
在这里插入图片描述

  1. 搜索框，通过编写表达式筛选索引中的数据，也可以手动选择筛选条件，并通过Refresh按钮刷新查询结果（回车键也可以刷新）如下图所示：

在这里插入图片描述

通过选择字段和运算符完成筛选,或者通过Elasticsearch的DSL查询语句进行查询筛选如下图：

在这里插入图片描述

  1. 时间筛选，可以选择多种时间范围、区间如图所示：

在这里插入图片描述

  1. 索引选择下拉菜单，选择需要查询的索引名称即可。

  2. 文档中相应的字段，可以通过添加，删除操作筛选在右侧的展示字段。

  3. 文档列表展示区，最上面是根据时间范围统计数量的直方图，选择一个文档后点击左侧箭头打开文档如图所示：
    在这里插入图片描述

    通过“查看周围文档”可以查看当前文档创建时间上下范围的其它文档，“查看单个文档”则是查看该文档具体文档信息。

2、可视化模块

  1. 可视化列表如图所示：

在这里插入图片描述
通过搜索框搜索已经创建的可视化组件，单击组件名称进入可视化编辑界面如图所示：

在这里插入图片描述

  1. 新建可视化组件，点击可视化列表右上角“+”进入如下界面：
    在这里插入图片描述

    选择需要创建的可视化类型进入可视化组件编辑界面如下图：
    在这里插入图片描述

    选择索引模式进入编辑界面：
    在这里插入图片描述

    通过查询筛选、指标中的聚合、编辑存储桶以及选项等内容编辑图形显示所需参数。点击指标右上角的“应用更改”应用当前编辑，并且在图形中显示。

  2. 编辑后保存
    在这里插入图片描述
    在这里插入图片描述
    确认保存后就可以在可视化列表中看到。

3、仪表盘

  1. 打开仪表板，仪表板列表如下图所示：
    在这里插入图片描述

  2. 创建新的仪表盘

    点击仪表板列表右上角的“创建新的仪表板”，如下图所示：
    在这里插入图片描述
    点击“添加”，在左侧添加面板里选择已经编辑好的可视化组件，如下图所示：
    在这里插入图片描述

    创建好仪表板以后，可以再次进行条件筛选等设置，之后进行保存如下图：
    在这里插入图片描述
    在这里插入图片描述
    此时仪表板列表中可以看到刚才添加的仪表板，仪表板中可以添加多个可视化组件，如下图所示：
    在这里插入图片描述

4、Canvas

  1. Canvas能够实现定时刷新数据实现动态显示界面，打开Canvas如下图所示：
    在这里插入图片描述
    从列表中可以打开已经创建的Canvas workpads并进行再次编辑。

  2. 创建Canvas workpads，点击列表中"Create workpad"如下图所示:
    在这里插入图片描述
    空白处相当于一块画布，右侧可以设置大小，以及CSS样式，点击"Add element"如图所示：
    在这里插入图片描述
    选择自己需要的组件添加到面板上如图所示：
    在这里插入图片描述
    右侧可以调整组件的样式等内容。

  3. 指定组件所需要的数据，如图所示：
    在这里插入图片描述
    在这里插入图片描述
    根据需要选择自己的数据来源，此处选择Elasticsearch SQL如图所示：
    在这里插入图片描述
    此处支持SQL语法，SQL语句测试等可在“控制台”测试。

  4. 保存后在列表中查看如图所示：
    在这里插入图片描述
    修改数据刷新时间如下图：
    在这里插入图片描述

5、开发工具

  1. 通过控制台执行Elasticsearch DSL语句：
    在这里插入图片描述

    查询语句可以参考Elasticsearch-head手动生成的DSL语句。

    2、通过sql查询Elasticsearch索引，Canvas中需要的sql语句可以在此处进行验证等操作。
    在这里插入图片描述

    可以通过以下语句获取索引的字段：

    POST /_sql?format=txt
{
  "query":"DESC demo220"

}

    结果如下图所示：
    在这里插入图片描述

6、运行时间（心跳监控）

  1. 下载：heartbeat-7.0.0-linux-x86_64.tar.gz

  2. 解压文件：tar -xzvf heartbeat-7.0.0-linux-x86_64.tar.gz

  3. 配置示例：

    #心跳监视器
heartbeat.monitors:
- type: http
  #添加了Elasticsearch集群三个节点的监控
  urls: ["http://127.0.0.1:9200","http://127.0.0.1:8200","http://127.0.0.1:7200"]
  #运行状态每10秒获取一次
  schedule: '@every 10s'
  
  
#Kibana服务IP
setup.kibana:
  host: "127.0.0.1:5601"
  
#监控数据输出到es,节点地址是个数组  
output.elasticsearch:
  hosts: ["127.0.0.1:9200"]

  4. 启动：./heartbeat -e -c heartbeat.yml

  5. 打开kibana-左侧菜单运行时间查看监控状态，如下图所示
    在这里插入图片描述
    在这里插入图片描述

Miao~O~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
世上最全ELK部署文档带目录
06-22
世上最全ELK部署文档,包含目录. 细节个项目.堪比教科书,从centos->Elasticsearch->Kibana->Logstash->Filebeat->topbeat
ELK 5.5 环境搭建
12-20
### ELK 5.5 环境搭建与性能调优 #### 一、系统拓扑及注意事项 ...以上步骤概述了如何在 Linux 系统上搭建 ELK 5.5 环境的基础流程以及注意事项。通过这些步骤，可以成功地搭建一个稳定且高性能的日志分析平台。
elk搭建
lsq791373899的博客
11-29 93
sys1.关闭防火墙 systemctl stop firewalld setenforce 0 2.临时修改 ulimit -SHn 65535 3.永久修改 vim /etc/securitry/limits.conf 在最后一行加上（soft软限制 hard是硬限制） soft nofile 65535（最大打开文件数） hard nofile 65535 soft nproc 6...
ELK集群部署详解
最新发布
Wu 小杰的博客
07-06 762
一个 索引 就是一个拥有几分相似特征的文档的集合。ES 将数据存储于一个或多个索引中，索引 就相当于 SQL 中的一个数据库。
ELK环境简单搭建部署
小龙的博客
10-10 255
一.安装包准备：(环境Linux系统)    1.  jdk-8u171-linux-x64.tar.gz                下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html       2.  elasticsearch-6.3.0.tar.gz  ...
搭建部署ELK教程
weixin_52947687的博客
05-06 474
note：但是kibana界面是不安全的，因为没有任何的认证，谁都可以登录到kibana界面，为了安全，我们可以部署一个nginx，利用反向代理到后端的kibana。但是如果网站多了，服务器多了，还是非常不方便，而且阅读性也不好，因此ELK应运而生，不仅可以获取访问高峰期，还可以制作图表，让你的领导一目了然，但是如果网站多了，服务器多了，还是非常不方便，而且阅读性也不好，因此ELK应运而生，不仅可以获取访问高峰期，还可以制作图表，让你的领导一目了然，
ELK日志分析系统（二）之ELK搭建部署
qq_45088125的博客
07-07 2116
由于es服务启动之后，访问界面比较丑陋，为了更好的查看索引库当中的信息，我们可以通过安装el
elk环境搭建文档.zip
03-23
这个“elk环境搭建文档.zip”压缩包显然提供了关于如何在环境中部署和配置这些组件的详细步骤。让我们深入探讨每个组件以及如何进行集群搭建。 **Elasticsearch** Elasticsearch是一个分布式、RESTful风格的搜索和...
3.1 ELK环境搭建和使用1
08-04
【3.1 ELK环境搭建和使用1】 ELK（Elasticsearch, Logstash, Kibana）环境的搭建主要用于构建日志收集和分析系统，它可以帮助管理和处理来自各种应用和系统的日志数据，实现日志的统一收集、存储、查询和分析。通过...
ELK环境搭建.docx
05-09
elasticsearch+logstash+kibana在linux上的部署过程及配置
随记——ELK部署
weixin_49439135的博客
06-21 1154
下载安装包：elasticsearch、kibana、logstash、filebeat 注意版本要一致，这里用的是7.13.4。es安装目录中的plugins目录下新建目录ik,将下载的zip解压到新建目录下。kibana也不能使用root账户启动，使用上面es创建的账户即可。注意防火墙，测试环境可以关闭防火墙，生产可以选择放开相应端口。下载地址：（选择对应版本的分词器下载，直接下载zip即可）重启es，log中可以看到插件加载成功。
ELK的搭建以及部署（Linux的版本）
lmd770013209的博客
04-12 740
Logstash 支持各种输入选择，例如：beats、file、http、jdbc、redis、kafka…，其中在文件采集时，官方建议使用beats(因为logstash是基于java开发的,需要在jvm跑。当进行采集时会对内存、cpu、io等资源消耗比较高，而beats是基于go语言开发，性能接近c语言，是专为并发而生的).下载地址：https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2-linux-x86_64.tar.gz。
部署环境_ELK环境部署
weixin_31443757的博客
01-06 121
一、ELK原理介绍ELK可以将我们的系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗、然后进行集中存放并可用于实时检索、分析 1、ElasticsearchElasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析，采用Java语言编写 Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎实时搜索，实时分析分布式...
ELK服务搭建部署
qq_36218267的博客
02-07 259
前提条件 安装jdk liunx安装jdk教程：https://blog.csdn.net/qq_42670220/article/details/90753244 1.下载ELK安装包 版本：6.4.0 百度云链接：https://pan.baidu.com/s/1Uw7MKa2sSAZbsN9LuFCFHw 提取码：ycqn 第一次搭建的小伙伴一定要注意，下载最新版本的ELK时，...
ELK的安装部署与使用
小庄的博客
05-18 1212
ELK的使用
ELK日志分析系统之ELK搭建部署
weixin_71429790的博客
10-11 2703
ELK搭建与部署
ELK单机环境搭建
wwwwww12432的博客
11-30 2363
linux下ELK环境搭建
ELK 安装部署
IoTHub - 物联网开源技术社区
03-12 953
微服务日志通过 Logback 写到 MQ（kafka或rabbitmq），logstash 读取 MQ 把日志写到Elasticsearch，通过 Kibana 查询。
elk5.6集群搭建部署
01-31
总结起来，ELK5.6集群的搭建部署过程包括安装、配置和启动Elasticsearch、Logstash和Kibana。通过这个集群，我们可以实现实时的日志收集、处理和可视化分析，为我们的日志管理工作提供了很大的便利。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值