2024年Linux最新【记录搭建elk &amp； 如何在linux共享文件】，2024年最新Linux运维程序员必备

最新推荐文章于 2024-11-15 11:54:09 发布
最新推荐文章于 2024-11-15 11:54:09 发布
阅读量481 收藏 8
点赞数 5
分类专栏： 程序员 文章标签： 运维 linux elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_78416732/article/details/138427985
版权

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

{
  "name" : "4895e681875f",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "C8NC8FWcSkqUv9x5M5pGVQ",
  "version" : {
    "number" : "7.8.0",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
    "build_date" : "2020-06-14T19:35:50.234439Z",
    "build_snapshot" : false,
    "lucene_version" : "8.5.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

好家伙这么多密码
在这里插入图片描述查看网络 sudo docker network inspect elastic
在这里插入图片描述
2. 安装 kibana
宿主机创建配置文件映射到容器内
/data/kibana/kibana.yml

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://172.18.0.2:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: "zh-CN"
elasticsearch.username: "elastic"
elasticsearch.password: "123456"
xpack.reporting.encryptionKey: "sdfbwe83q12gsdfgsdvfshjfvashfn34y372rh32gru32yre32erh2u3hrlibsdfjefe"
xpack.security.encryptionKey: "hsaufhsabfasbhdsbfjbsjhfbshjbfsbfcshjdbf623423gjh234v32hv4h32h3vrhj"
  1. 修改elasticsearch.hosts 根据你的实际情况
  2. 使用更长的字符 > 32 『你自己随意设置哈』
  3. 修改 elasticsearch.password为刚才你设置的密码

启动容器

docker run -d --name kibana --net elastic -p 5601:5601 -v /data/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.8.0

如果遇到：

FATAL  Error: [config validation of [xpack.reporting].encryptionKey]: value has length [11] but it must have a minimum length of [32].

xpack.reporting.encryptionKey: 设置更长的长度， 修改完成后，重启容器

  1. 安装logstash

创建logstash 的配置文件
/data/logstash/conf.d
/data/logstash/config

logstash.yml配置如下:

http.host: "0.0.0.0"

xpack.monitoring.elasticsearch.hosts: [ "http://172.19.0.2:9200" ]

xpack.monitoring.enabled: true

path.config: /usr/share/logstash/conf.d/*.conf

path.logs: /var/log/logstash

其中xpack.monitoring.elasticsearch.hosts配置项改为获取到的elasticsearch容器地址, sudo docker network inspect elastic
在这里插入图片描述

logstash.conf的配置如下:

input {

    tcp {

    mode => "server"

    host => "0.0.0.0"

    port => 5047

    codec => json_lines

}

}

output {

    elasticsearch {

    hosts => "172.19.0.2:9200"

    index => "springboot-logstash-%{+YYYY.MM.dd}"

    user => "elastic"

    password => "123456"

}

}

下面host填写elastsearch容器地址，index为日志索引的名称,user和password填写xpack设置的密码，port为对外开放收集日志的端口

运行logstash

docker run -it -d -p 5047:5047 -p 9600:9600 \
--name logstash --privileged=true  --net elastic -v \
/data/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml -v \
/data/logstash/conf.d/:/usr/share/logstash/conf.d/ logstash:7.8.0

5047端口是刚才port设置的端口

  1. 创建springboot 工程

加入依赖

	<dependency>
		<groupId>net.logstash.logback</groupId>
		<artifactId>logstash-logback-encoder</artifactId>
		<version>6.6</version>
	</dependency>

logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration debug="true">

    <!-- 获取spring配置 -->

    <springProperty scope="context" name="logPath" source="log.path" defaultValue="/app/log/elk-biz"/>

    <springProperty scope="context" name="appName" source="spring.application.name"/>

    <!-- 定义变量值的标签 -->

    <property name="LOG_HOME" value="${logPath}"/>

    <property name="SPRING_NAME" value="${appName}"/>


    <!-- 彩色日志依赖的渲染类 -->

    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>

    <conversionRule conversionWord="wex"

                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>

    <conversionRule conversionWord="wEx"

                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>


    <!-- 链路追踪sleuth 格式化输出 以及 控制台颜色设置变量 -->

    <property name="CONSOLE_LOG_PATTERN"

              value="%d{yyyy-MM-dd HH:mm:ss.SSS} %highlight(%-5level) [${appName},%yellow(%X{X-B3-TraceId}),%green(%X{X-B3-SpanId}),%blue(%X{X-B3-ParentSpanId})] [%yellow(%thread)] %green(%logger:%L)   :%msg%n"/>


    <!-- #############################################定义日志输出格式以及输出位置########################################## -->

    <!--控制台输出设置-->

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">

        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">

            <pattern>${CONSOLE_LOG_PATTERN}</pattern>

            <!-- <charset>GBK</charset> -->

        </encoder>

    </appender>


    <!--普通文件输出设置-->

    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">

        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

            <FileNamePattern>${LOG_HOME}/log_${SPRING_NAME}_%d{yyyy-MM-dd}_%i.log</FileNamePattern>

            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">

                <maxFileSize>200MB</maxFileSize>

            </timeBasedFileNamingAndTriggeringPolicy>

        </rollingPolicy>

        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">

            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>

        </encoder>

    </appender>


    <!--aop接口日志拦截文件输出-->

    <appender name="bizAppender" class="ch.qos.logback.core.rolling.RollingFileAppender">

        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

            <FileNamePattern>${LOG_HOME}/log_%d{yyyy-MM-dd}_%i.log</FileNamePattern>

            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">

                <maxFileSize>200MB</maxFileSize>

            </timeBasedFileNamingAndTriggeringPolicy>

        </rollingPolicy>

        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">

            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>

        </encoder>

    </appender>


    <!--开启tcp格式的logstash传输，通过TCP协议连接Logstash-->

    <!--    <appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">-->

    <!--        <destination>10.11.74.123:9600</destination>-->

    <!--        <encoder class="net.logstash.logback.encoder.LogstashEncoder" />-->

    <!--    </appender>-->

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">

        <!--可以访问的logstash日志收集端口-->

        <destination>localhost:5047</destination>

        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>

        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">

            <providers>

                <timestamp>

                    <timeZone>Asia/Shanghai</timeZone>

                </timestamp>

                <pattern>

                    <pattern>

                        {

                        "app_name":"${SPRING_NAME}",

                        "traceid":"%X{traceid}",

                        "ip": "%X{ip}",

                        "server_name": "%X{server_name}",

                        "level": "%level",

                        "trace": "%X{X-B3-TraceId:-}",

                        "span": "%X{X-B3-SpanId:-}",

                        "parent": "%X{X-B3-ParentSpanId:-}",

                        "thread": "%thread",

                        "class": "%logger{40} - %M:%L",

                        "message": "%message",

                        "stack_trace": "%exception{10}"

                        }

                    </pattern>

                </pattern>

            </providers>

        </encoder>

    </appender>


    <!-- #############################################设置输出日志输出等级########################################## -->

    <!-- mybatis log configure-->

    <!-- logger设置某一个包或者具体的某一个类的日志打印级别 -->

    <logger name="com.apache.ibatis" level="TRACE"/>

    <logger name="java.sql.Connection" level="DEBUG"/>

    <logger name="java.sql.Statement" level="DEBUG"/>

    <logger name="java.sql.PreparedStatement" level="DEBUG"/>

    <logger name="org.apache.ibatis.logging.stdout.StdOutImpl" level="DEBUG"/>


    <!-- SaveLogAspect log configure外部接口调用-->

    <!-- logger设置某一个包或者具体的某一个类的日志打印级别 -->

    <logger name="com.springweb.baseweb.log.aop.SaveLogAspect" additivity="false" level="INFO">

        <!-- 同时输出到两个文件 -->

        <appender-ref ref="bizAppender"/>


### 最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

### 资料预览

给大家整理的视频资料：

![](https://img-blog.csdnimg.cn/img_convert/f7a995bf1f4c6d0435c3503b777e8c19.png)

给大家整理的电子书资料：

  

![](https://img-blog.csdnimg.cn/img_convert/df46f2292c75597dd82218fd7e1cb9e8.png)



**如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！**

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

# 资料预览

给大家整理的视频资料：

[外链图片转存中...(img-9dTwJXIo-1714751324454)]

给大家整理的电子书资料：

  

[外链图片转存中...(img-cZPORxtC-1714751324454)]



**如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！**

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2301_78416732
关注
专栏目录
【Kibana】FATAL Error: [config validation of [elasticsearch].url]: definition for this key is missing
九师兄
09-24 7448
1.背景 开启kibana 7.6.0 版本报错 cause: { Error: definition for this key is missing at ObjectType.onError (/Users/lcc/soft/es/kibana-7.6.0-darwin-x86_64/node_modules/@kbn/config-schema/target/out/types/type.js:84:20) at type.Type.schema.error (.
ElasticSearch: xpack 密码安全验证
qq_41063182的博客
09-25 7639
背景 在阿里云部署了一台 ElasticSearch 节点，9200 端口直接暴露在了公网下，结果三天两头受到攻击，访问 kibana 老出现 redirect 重定向问题不能访问，查看日志索引都被人删除了，所以怀疑可能是因为被人恶意删除了，由此决定使用 xpack安全组件来保护 ElasticSearch。 ElasticSearch 默认安装后，本身不提供任何安全保障，这也是被人攻击的原因之一 我们为了公网可以访问，配置了 server.host 为 0.0.0.0 这也是被人攻击的原因之一 xpa
ElasticSearch概述安装启动
Xiao_Lata的博客
05-25 320
1.前言 在企业级项目中，如果需要完成数量级较大搜索服务，传统数据库搜索会显得力不从心，性能和速度达不到真实业务需求，一般我们都会使用全文检索技术来进行替代。 常见的全文检索技术有：Solr、Elasticsearch等。 今天主要说的是ElasticSearch 2.Elastic概述 . Elastic官网 : https://www.elastic.co/cn/ Elastic有一条完整的产品线：Elasticsearch、Kibana、Logstash等，前面说的三个就是大家常说的ELK技术栈
【记录搭建elk & 如何在linux共享文件】
lsk_shah的博客
03-17 1153
其他用户可以对文件进行操作：为防止其他用户的删除操作，对文件添加stick权限 【慎重使用,在git等操作中不要用这个】给文件添加SGID 和stick之后其他用户可以对文件目录都有写的权限但是不能删除其他用户创建的文件。
启动kibana报错：[config validation of [elasticsearch].host]: definition for this key is missing
qq_43470725的博客
09-10 8748
由于高版本的配置文件配置不同（7.xx以上的版本） 参考：https://www.cnblogs.com/brady-wang/p/13229453.html 配置：config/kibana.yml 需要用： elasticsearch.hosts， 而不是： elasticsearch.url
Linux运维-4.服务管理-014-ELK-2视频112 监控服务器端搭建.avi
06-05
Linux运维-4.服务管理-014-ELK-2视频112 监控服务器端搭建.avi
Linux运维-4.服务管理-014-ELK-2视频113 被监控Nginx端搭建.avi
06-05
Linux运维-4.服务管理-014-ELK-2视频113 被监控Nginx端搭建.avi
2024年Linux最新云原生技术组件架构，Linux运维开发基础机构
2401_83627805的博客
05-03 771
可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！综上所述，云原生技术组件架构是一个多维度、高度集成的生态系统，每个组件都致力于提升云环境下应用的敏捷性、弹性和安全性。作为服务间的入口点，API网关负责处理请求路由、认证授权、限流熔断等功能，统一对外暴露服务接口。本博客持续关注和应用云原生、AI、智慧城市等技术，请关注其他文章或持续关注本博客的技术更新。
Linux系统设计-Hi-elk 基于Docker快速搭建elk服务镜像
01-10
所有源码均经过严格测试，可以直接运行，可以放心下载使用。...许多知名的科学计算软件都在Linux上开发和运行，Linux系统在各个领域都有广泛的应用，其强大的功能和灵活性使得它成为许多产品和服务的基础架构。
【运维面试】ELK的过程及原理，Linux运维面试题最新2024
2401_83946826的博客
04-19 903
一个群集可以只有一台节点，为了具备更好的容错性，通常配置多个节点，在配置群集时，建议配置成群集模式。接近实时(NRT)： Elasticsearch是一个搜索速度接近实时的搜索平台，响应速度非常的快，从索引一个文档直到能够被搜索到只有一个轻微的延迟(通常是1s)2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?7、Tomcat和Resin有什么区别，工作中你怎么选择?15、讲述一下LVS三种模式的工作过程?
Elasticsearch-Kibana 8.3.2 集群安装搭建-Linux
u013584020的博客
07-11 4731
Elasticsearch-Kibana 8.3.2 集群安装搭建-Linux
ELK 8.5版本安装教程（一）
suject的专栏
11-14 5834
由于公司需要搭建一个ELK日志平台，看了一下最新的8.5版本还可以，加了权限管理，可观测性等功能，所以就试下使用8.5版本，此教程基于docker-compose安装ELK的。我这里是直接使用filebeat推送到了Elasticsearch，所以logstash没有安装。由于是新版本，所以踩坑还是有点的，我将问题也汇总到最后。
ES集群安装
雅冰石的专栏
03-10 1615
Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。它用于全文搜索、结构化搜索、分析以及将这三者混合使用。 Elasticsearch所涉及到的每一项技术都不是创新或者革命性的，全文搜索，分析系统以及分布式数据库这些早就已经存在了。它的革命性在于将这些独立且有用的技术整合成一个一体化的、实时的应用。 很不幸，现在大部分数据库在提取可用知识方面显得异常无能。的确，它们能够通过时间戳或者精确匹配做过滤，但是它们能够进行全文搜索，处理同义词和根据相关性给文档打分
elk(elasticsearch+logstash+kibana)搭建日志监控平台
who_I_am__的博客
11-05 5483
基于 ELK（Elasticsearch、Logstash、Kibana）技术栈搭建了一个日志监控平台。
Kibana启动问题
m0_70556273的博客
10-22 969
可以根据日志提示信息，直接去 https://commondatastorage.googleapis.com/chromium-browser-snapshots/Mac_Arm/901913/chrome-mac.zip 下载chrome-mac.zip包，然后放到 /Users/qinghuazs/Documents/SoftWare/kibana-8.4.1/.chromium/arm64/ 目录下。看提示是ElasticSearch的节点连接不去，但是之前是可以的，也没改什么配置，就很奇怪。
docker-compose elasticsearch 8.1.1 集群、单节点实践
csrh131的博客
04-01 4640
学习的官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/8.1/docker.html 参照文档，实践了一遍，把遇到的问题记录在这 escluster_es01_1 exited with code 137 这个是内存不够用的问题，如果设置了如ES_JAVA_OPTS=-Xms1g -Xmx1g这种内存限制参数，可以取消试试，实际测试中，虚拟机加到了8G的内存，原本4G内存无法启动。 目录权限问题 官方文档中提到了下面的命令可以
安装使用elasticsearch-7.1.1-linux可能出现的问题的处理
真理部
06-11 8118
运行es7.1.1 报错 ERROR: [6] bootstrap checks failed [1]: max file descriptors [1024] for elasticsearch process is too low, increase to at least [65535] [2]: memory locking requested for elasticsearch proc...
Openshift 如何更新访问控制机
11-13 395
OPenshift 安装的时候会指定用于访问集群的访问机， 比如PC1的ssh key 为key1, 那key1会配置到集群的ISO中， 那后如果PC1重新装OS 或者想换成其他的电脑是， key1 可以为变成key2.1. 新的访问机上把key 生成一下： ssh-keygen -t rsa -C 'xx@xx.com'保存key: cat /root/.ssh/id_rsa.pub。把/root/.ssh/id_rsa.pub 中的key 修改到这个yaml中。
Docker：查看镜像里的文件
最新发布
weixin_52116015的博客
11-15 326
Docker：查看镜像里的文件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值