ELK_pipelines yaml file is empty

2401_84715691

于 2024-05-15 11:07:14 发布

阅读量419

点赞数 5

分类专栏：程序员文章标签：单元测试功能测试学习

本文链接：https://blog.csdn.net/2401_84715691/article/details/138900478

版权

程序员专栏收录该内容

126 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

            }

        curl添加用户、修改密码
            curl -XPUT -u elastic 'localhost:9200/_xpack/security/user/kibana/_password' -H'Content-Type: application/json' -d '{
              "password" : "kibana"
            }'

    Visualize：es处理——图表——趋势、峰值、骤降：指标数据可视化
    dashboard：调整可视化，保存仪表盘，被加载、共享
    monitoring：查看集群健康、性能，分析过去的集群、索引、节点；kibana性能
    graph：发现一个es索引项是如何相关联,索引条款的连接
    timelion：查询时间序列数据，计算——答案
安装
    wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.1-linux-x86_64.tar.gz
    config/kibana.yml：
        #如果不修改只能在本机访问，在其他机器访问不了
        #server.host: "0.0.0.0"
        #配置ES的地址
        elasticsearch.url: "http://192.168.80.123:9200"
    ./bin/kibana
    http://ip:5601 默认分别是 elastic 和 changeme。
    1/6.2版本进行如下配置 报错 ，不配做成功启动,启动之后无法访问，此时修改server.host成功访问
    2/在Elasticsearch 5版本之前，一般都是通过安装Kibana，而后将Marvel、Hand等各种功能插件添加到Kibana上使用。在Elasticsearch 5版本之后，一般情况下只需要安装一个官方推荐的X-pack扩展包即可

命令
    bin/kibana &命令后，使用exit退出日志， 
        这样即使关闭了shell窗口kibana服务也不会挂了。

Logstash：数据处理引擎，
安装
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.2.1.tar.gz

它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到 ES
命令
    启动
        Logstash 后
            -f：指定配置文件，根据配置文件配置logstash
            -e：字符串，配置，默认“”stdin输入、stdout输出
            -l：输出地址，默认控制台输出
            -t：测试配置文件是否正确后退出
        bin/logstash -e 'input { stdin { } } output { stdout {} }'
            -e 可通过命令行接受设置
        bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'
        bin/logstash -e 'input { stdin { } } output { elasticsearch { host => localhost } }'
            查看curl ‘http://localhost:9200/_search?pretty’
        写一个配置文件，放到bin目录下，启动
            bin/logstash -f logstash-simple.conf 
核心配置
    Logstash不会重复处理文件中已经处理过得events。
        已记录了文件处理的位置，只处理文件中新加入的行
配置文件
    Input访问方式
        指定被监听的文件绝对路径：file { path =>"/var/log/messages" type =>"syslog"}可多个（没有分隔符）
    Filter
        多种处理规则，顺序：避免重复使用
工作原理http://blog.csdn.net/lee_sire/article/details/52193601
    管道：xxx|ccc|ddd依次执行
    输入——》处理filter（不是必须）——》输出

插件安装，讲解
x-pack：将安全，警报，监视，报告和图形功能包含在一个易于安装的软件包中
X-Pack是一个Elastic Stack的扩展
在Elasticsearch 5.0.0之前，您必须安装单独的Shield，Watcher和Marvel插件才能获得在X-Pack中所有的功能。
安装：都要安
Elasticsearh：bin/elasticsearch-plugin install x-pack
WARNING: plugin requires additional permissions
如在Elasticsearch禁用自动索引创建，在elasticsearch.yml配置：
action.auto_create_index: .security,.monitoring*,.watches,.triggered_watches,.watcher-history*
（es如果是一个集群，在每一个节点上安装）
Kibana：bin/kibana-plugin install x-pack
安装过程会比较久，耐心等待
x-pack安装之后有一个超级用户elastic，其默认的密码是changeme
拥有对所有索引和数据的控制权，可以使用该用户创建和修改其他用户，可以通过kibana的web界面进行用户和用户组的管理
密码
curl -XPUT -u elastic ‘localhost:9200/_xpack/security/user/elastic/_password’ -d ‘{
“password” : “123456”
}’
移除：
bin/kibana-plugin remove x-pack
bin/elasticsearch-plugin remove x-pack
安装详解x-pack
修改密码 http://blog.csdn.net/guyan0319/article/details/78848746 修改配置文件启动
Changed password for user kibana
PASSWORD kibana = d&oy%5l&K?lYgtrwh%=b

        Changed password for user logstash_system
        PASSWORD logstash_system = 3l!PbpO$4Ip1vw#zeZF5

        Changed password for user elastic
        PASSWORD elastic = -OOdh-lmJ&SX**&z@Iz3
        自定义http://blog.csdn.net/u013066244/article/details/78699353密码

    ERROR: Pipelines YAML file is empty. Location: /usr/local/bin/logstash-6.1.2/config/pipelines.yml 报了这个错，我提升下权限
用x-pack保护elk间数据传递
    Kibana.yml配置elasticsearch.username:"elastic",elasticsearch.password:"elasticsearch"
    logstash创建配置文件
        input {
          stdin{}
          beats{
             port => 5044
          }
        }
        output {
            elasticsearch {
               hosts => ["http://localhost:9200"]
               user => elastic
               password => elasticsearch
        }
           stdout{
               codec=>rubydebug
           }
        }
添加对索引的监控：
    Elasticsearch.yml中，xpack.monitoring.collection.indices: logstash-*, index1, test2
        +或 - 来显式包含或排除索引：要包括以test开头的所有索引（test3除外）+ text *，- test3
安装Kv/urldecode/grok/useragent
    报错，不能翻墙 http://www.bubuko.com/infodetail-1828764.html
        修改logsta目录下的Gemfile文件
            source "https://ruby.taobao.org/"
            --no-verify不验证安装包来源

    ./bin/logstash-plugin install --no-verify kv
        单独将字段进行key-value匹配
         kv {
                        source => "request"
                        field_split => "&?"#字段分隔符"&?"
                        value_split => "="#值键分隔符"="
                }

    ./bin/logstash-plugin install --no-verify urldecode
        把所有字段进行urldecode（显示中文）
         urldecode {
                all_fields => true
            }

    ./bin/logstash-plugin install --no-verify grok
    ./bin/logstash-plugin install --no-verify useragent

命令
bin/logstash -f etc/加载 etc文件夹下所有 *.conf 的文本文件
后台运行nohup bin/logstash -f etc/ &




![img](https://img-blog.csdnimg.cn/img_convert/2c9404649ed120e8dc584e36d599c79f.png)
![img](https://img-blog.csdnimg.cn/img_convert/ceb3edf67a2e654dd58aea81392f1f6a.png)
![img](https://img-blog.csdnimg.cn/img_convert/faa2e91ac9141cc81e137ba68930479b.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**

95%以上软件测试知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**

2401_84715691

关注

5
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
ELK_pipelines yaml file is empty

在Elasticsearch 5.0.0之前，您必须安装单独的Shield，Watcher和Marvel插件才能获得在X-Pack中所有的功能。修改密码 http://blog.csdn.net/guyan0319/article/details/78848746 修改配置文件启动。拥有对所有索引和数据的控制权，可以使用该用户创建和修改其他用户，可以通过kibana的web界面进行用户和用户组的管理。x-pack：将安全，警报，监视，报告和图形功能包含在一个易于安装的软件包中。安装详解x-pack。
复制链接

扫一扫