【记录搭建elk &amp； 如何在linux共享文件】，2024年最新拿下我人生中第7个Offer

最新推荐文章于 2024-05-09 10:42:00 发布
最新推荐文章于 2024-05-09 10:42:00 发布
阅读量290 收藏 10
点赞数 3
分类专栏： 程序员 文章标签： elk linux jenkins
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84167005/article/details/137720626
版权
  • ubuntu 22
  • docker

创建docker network

docker network create elastic

三个镜像

docker pull elasticsearch:7.8.0
docker pull logstash:7.8.0
docker pull kibana:7.8.0

elasticsearch 启动！！！

docker run -d --name es01 --net elastic -p 9200:9200 -e "discovery.type=single-node" 121454ddad72[your image id]

es config
进入容器修改 cinfig下的elasticsearch.yml

cluster.name: "docker-cluster"
network.host: 0.0.0.0
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

退出容器后，重新启动容器
再次进入容器，设置安全认证密码。

/usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive

查看是否监听端口9200
ss | grep 9200

访问地地址
http://localhost:9200/

可以遇到的问题：

ElasticSearch 容器中出現的 max virtual memory areas

参考以下
>> 解決 ElasticSearch 容器中出現的 max virtual memory areas
只需要在裡面加上下面這行就行了：

/etc/sysctl.conf
vm.max_map_count=262144

要確認設定有沒有成功，可以透過 sysctl -p 這個指令來驗證。

访问localhost:9200 显示如下，就成功了

{
  "name" : "4895e681875f",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "C8NC8FWcSkqUv9x5M5pGVQ",
  "version" : {
    "number" : "7.8.0",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
    "build_date" : "2020-06-14T19:35:50.234439Z",
    "build_snapshot" : false,
    "lucene_version" : "8.5.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

好家伙这么多密码
在这里插入图片描述查看网络 sudo docker network inspect elastic
在这里插入图片描述
2. 安装 kibana
宿主机创建配置文件映射到容器内
/data/kibana/kibana.yml

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://172.18.0.2:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: "zh-CN"
elasticsearch.username: "elastic"
elasticsearch.password: "123456"
xpack.reporting.encryptionKey: "sdfbwe83q12gsdfgsdvfshjfvashfn34y372rh32gru32yre32erh2u3hrlibsdfjefe"
xpack.security.encryptionKey: "hsaufhsabfasbhdsbfjbsjhfbshjbfsbfcshjdbf623423gjh234v32hv4h32h3vrhj"
  1. 修改elasticsearch.hosts 根据你的实际情况
  2. 使用更长的字符 > 32 『你自己随意设置哈』
  3. 修改 elasticsearch.password为刚才你设置的密码

启动容器

docker run -d --name kibana --net elastic -p 5601:5601 -v /data/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.8.0

如果遇到：

FATAL  Error: [config validation of [xpack.reporting].encryptionKey]: value has length [11] but it must have a minimum length of [32].

xpack.reporting.encryptionKey: 设置更长的长度， 修改完成后，重启容器

  1. 安装logstash

创建logstash 的配置文件
/data/logstash/conf.d
/data/logstash/config

logstash.yml配置如下:

http.host: "0.0.0.0"

xpack.monitoring.elasticsearch.hosts: [ "http://172.19.0.2:9200" ]

xpack.monitoring.enabled: true

path.config: /usr/share/logstash/conf.d/*.conf

path.logs: /var/log/logstash

其中xpack.monitoring.elasticsearch.hosts配置项改为获取到的elasticsearch容器地址, sudo docker network inspect elastic
在这里插入图片描述

logstash.conf的配置如下:

input {

    tcp {

    mode => "server"

    host => "0.0.0.0"

    port => 5047

    codec => json_lines

}

}

output {

    elasticsearch {

    hosts => "172.19.0.2:9200"

    index => "springboot-logstash-%{+YYYY.MM.dd}"

    user => "elastic"

    password => "123456"

}

}

下面host填写elastsearch容器地址，index为日志索引的名称,user和password填写xpack设置的密码，port为对外开放收集日志的端口

运行logstash

docker run -it -d -p 5047:5047 -p 9600:9600 \
--name logstash --privileged=true  --net elastic -v \
/data/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml -v \
/data/logstash/conf.d/:/usr/share/logstash/conf.d/ logstash:7.8.0

5047端口是刚才port设置的端口

  1. 创建springboot 工程

加入依赖

	<dependency>
		<groupId>net.logstash.logback</groupId>
		<artifactId>logstash-logback-encoder</artifactId>
		<version>6.6</version>
	</dependency>

logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration debug="true">

    <!-- 获取spring配置 -->

    <springProperty scope="context" name="logPath" source="log.path" defaultValue="/app/log/elk-biz"/>

    <springProperty scope="context" name="appName" source="spring.application.name"/>

    <!-- 定义变量值的标签 -->

    <property name="LOG_HOME" value="${logPath}"/>

    <property name="SPRING_NAME" value="${appName}"/>


    <!-- 彩色日志依赖的渲染类 -->

    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>

    <conversionRule conversionWord="wex"

                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>

    <conversionRule conversionWord="wEx"

                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>


    <!-- 链路追踪sleuth 格式化输出 以及 控制台颜色设置变量 -->

    <property name="CONSOLE_LOG_PATTERN"

              value="%d{yyyy-MM-dd HH:mm:ss.SSS} %highlight(%-5level) [${appName},%yellow(%X{X-B3-TraceId}),%green(%X{X-B3-SpanId}),%blue(%X{X-B3-ParentSpanId})] [%yellow(%thread)] %green(%logger:%L)   :%msg%n"/>


    <!-- #############################################定义日志输出格式以及输出位置########################################## -->

    <!--控制台输出设置-->

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">

        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">

            <pattern>${CONSOLE_LOG_PATTERN}</pattern>

            <!-- <charset>GBK</charset> -->

        </encoder>

    </appender>


    <!--普通文件输出设置-->

    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">

        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

            <FileNamePattern>${LOG_HOME}/log_${SPRING_NAME}_%d{yyyy-MM-dd}_%i.log</FileNamePattern>

            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">

                <maxFileSize>200MB</maxFileSize>

            </timeBasedFileNamingAndTriggeringPolicy>

        </rollingPolicy>

        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">

            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>

        </encoder>

    </appender>


    <!--aop接口日志拦截文件输出-->

    <appender name="bizAppender" class="ch.qos.logback.core.rolling.RollingFileAppender">

        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

            <FileNamePattern>${LOG_HOME}/log_%d{yyyy-MM-dd}_%i.log</FileNamePattern>

            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">

                <maxFileSize>200MB</maxFileSize>

            </timeBasedFileNamingAndTriggeringPolicy>

        </rollingPolicy>

        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">

            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>

        </encoder>

    </appender>


    <!--开启tcp格式的logstash传输，通过TCP协议连接Logstash-->

    <!--    <appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">-->

    <!--        <destination>10.11.74.123:9600</destination>-->


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/3d307d1d2183ce399c25d7ef23ef5627.png)
![img](https://img-blog.csdnimg.cn/img_convert/d3c598c6db7fda55b868a40cbeed8dda.png)
![img](https://img-blog.csdnimg.cn/img_convert/f6f6ce044554529b883e327c2d1d1d11.png)
![img](https://img-blog.csdnimg.cn/img_convert/c541ae8de7cb72292effb2dee036a226.png)
![img](https://img-blog.csdnimg.cn/img_convert/8499fe88d73638ec50c0e83438b7887b.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/972ac6ad82349becb2620231fd84b248.png)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

U-1713000850238)]
[外链图片转存中...(img-rLf3Wuu4-1713000850238)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-CAF66q21-1713000850239)]

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
windows 整合elk（elasticsearch、kibana、logstash）及 Java maven项目配置logback集成elk
captorwz的博客
09-23 1760
elastic账号是无法用于kibana的登陆的,所以需要自行创建账号,并授权，cmd定位到es运行时(bin)目录输入以下命令。cmd 在bin目录 下输入elasticsearch ，或点击bin目录下的elasticsearch.bat文件如下图所示。cmd 在bin目录 下输入kibana，或点击bin目录下的kibana.bat文件如下图所示。在索引管理下默认会创建logstash传输的日志所处索引，如果没有则创建索引如下图。第二个断点处输入密码，（记录密码，生成秘钥需要用到）
ELK 详解
Jerry的博客
10-14 2989
ElasticSearch 概述 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官网https://www.elastic.co/。 ElasticSearch6.0版本以上需要jdk8环境才可以运行。Linux系统中Elast
ELK的安装部署与使用
小庄的博客
05-18 1291
ELK的使用
ELK搭建完整步骤
qq_45882426的博客
11-09 2402
ELK其实是Elasticsearch，Logstash 和 Kibana三个产品的首字母缩写，这三款都是开源产品。ElasticSearch(简称ES)，是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。Logstash，是一个数据收集引擎，主要用于进行数据收集、解析，并将数据发送给ES。支持的数据源包括本地文件、ElasticSearch、MySQL、Kafka等等。Kibana，为 Elasticsearch 提供了分析和 Web 可视化界面，并生成各种维度表格、图形。
2024年软件测试最新ubuntu搭建日志分析工具ELK收集Nginx日志_ubuntu22安装elk，学习路线+知识点梳理
最新发布
2401_84731999的博客
05-09 456
KaTeX parse error: Expected 'EOF', got '#' at position 22: …KaTeX parse error: Expected 'EOF', got '#' at position 22: …KaTeX parse error: Expected 'EOF', got '#' at position 12: request", '#̲记录请求的URL和HTTP协议…http_x_forwarded_for”, '#记录客户端IP地址。
Linux系统设计-Hi-elk 基于Docker快速搭建elk服务镜像
01-10
所有源码均经过严格测试，可以直接运行，可以放心下载使用。...许多知名的科学计算软件都在Linux上开发和运行，Linux系统在各个领域都有广泛的应用，其强大的功能和灵活性使得它成为许多产品和服务的基础架构。
Linux安装搭建ELK集群
我玩的很开心的博客
06-18 1885
Linux安装ELK 一、ES简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 特点是：高可用，高扩展，是一种NOSQL的数据存储工具 二、ES安装前的准备(elk安装包版本要求一致) 下载安装包： elasticsearch-6.2.2.tar.gz elasticsearch-head-master.zip kibana-6.2.2-linux-x86_64.tar.gz logstash-6.2.2.tar.gz node-v8.9.1-l
linux-Hielk是基于Docker快速搭建elk服务镜像
08-13
Hi-elk 是基于Docker快速搭建elk服务镜像，Hi-elk采用Alpine Linux系统为底层,专注于打造最简洁最安全最稳定的elk镜像，实现快速搭建elk服务。
ELK资料linux搭建.tar
11-13
商品收缩 springboot 集成ES+kibana+logstash+Ik分词器
在windows和Linux操作系统中部署ELK集群收集日志
weixin_70998962的博客
12-12 752
在linux、windows系统安装ELK，进行日志收集
ELK 安装文档
12-18
详细的ELK安装文档,轻松搞定日志监控。快点入手吧！
ELK文件日志分析系统
qq_45873113的博客
07-19 798
目录一、ELK概述1、ELK的三大组成2、ELK中日志处理步骤3、Elasticsearch概述①、Elasticsearch的特性②、分片和副本（shards &amp; replicas）4、LogStash概述5、Kibana概述二、部署ELK日志分析系统1、配置elasticsearch环境2、部署elasticsearch软件①、安装elasticsearch—rpm包②、加载系统服务③、更改elasticsearch主配置文件④、创建数据存放路径并授权⑤、启动elasticsearch是否成功开
ELK文档
lin86182824的博客
07-31 403
背景 ELK日志系统 总体架构如上。以下为实现步骤。 环境准备及说明 这几个包的自己到ES官网下载即可，软件的版本都建议一致，不一致可能会有问题。是二进制安装还是下载tar包自己解压也按照自己怎么方便怎么来。 注：es用root启动会有问题，所以我自己创建了个elk的用户。然后对应这些服务几乎都是用elk启动的，或者把这些服务的目录权限给到elk用户（改属主属组或者直接权限777）。 以下是我自己部署的时候直接改成777了。因为我这个也只是测试用，所以部署的有点混乱，如果是生产的话建议使用同一种部署方式
Ubuntu搭建elk（最新）
qq_37454359的博客
10-25 2569
Ubuntu搭建elk最新版本
ELK日志文件系统搭建
此后如竟没有炬火，我便是唯一的光。
03-30 2861
ELK之日志分析系统1. 百度百科上的ELK2. ELK简介3. ELK的工作原理4. 使用ELK的好处5. 完整日志系统基本特征6. ELK安装部署 1. 百度百科上的ELK Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速
elk文件
weixin_33810006的博客
01-26 381
=================正则匹配 [root@web02 conf.d]# cat apache-grok.conf input{ file { path => "/var/log/httpd/access_log" type => "apache_access.log" start_position => "beginni...
ELK 环境搭建（Elasticsearch+Logstash+Kibana）
sinat_33609161的博客
11-13 165
官网下载地址 https://www.elastic.co/cn/downloads 在安装Elk之前，首先需要检查jdk环境是不是1.8版本的，这个软件暂时不兼容jdk1.9。 java --version Elasticsearch 在/usr/local/目录下创建elk文件夹，进入elk，并解压文件。 tar -zxvf elasticsearch-6.4.2.tar.gz 配置文件con...
ELK介绍
热门推荐
Admans的专栏
04-10 1万+
文章目录 1.ELK简介 2.ELK架构图 3.Filebeat工作原理 4.Logstash工作原理 1.ELK简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。...
我需要在linux搭建ELK，请教我如何搭建
04-19
关于如何在Linux上搭建ELK，可以按照以下步骤进行： 1. 下载并安装Java Development Kit（JDK） 2. 下载并安装Elasticsearch 3. 下载并安装Logstash 4. 下载并安装Kibana 5. 配置Elasticsearch 6. 配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值