![](https://img-blog.csdnimg.cn/e2062e0598fd42d48385297a70c8a6b9.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Elastic
介绍Elastic的各种技术
飞Link
大数据厨艺工程师,一个文艺的程序员
展开
-
logstash~input.http_poller插件使用手册
【代码】logstash~input.http_poller插件使用手册。原创 2023-04-24 14:29:15 · 858 阅读 · 1 评论 -
logstash~logstash将本地文件中的日志作为input处理
logstash将本地文件中的日志作为input处理原创 2023-02-03 14:55:20 · 1427 阅读 · 0 评论 -
ElasticSearch~ElasticSearch启动成功,但是无法访问
配置文件配置错误。原创 2022-07-26 23:13:37 · 2091 阅读 · 0 评论 -
Kibana~后台启动Kibana之后无法找到进程号
代码】Kibana~后台启动Kibana之后无法找到进程号。原创 2022-07-25 17:39:18 · 1037 阅读 · 0 评论 -
ElasticSearch~main ERROR Unable to locate appender “rolling_old“ for logger config “root“
我这个错误是因为我把ElasticSearch文件夹的权限给了es用户(),但是没有修改日志保存路径,ElasticSearch默认会将日志存到一个路径,但是那个路径es用户是没有权限的,所以会导致报错。原创 2022-07-25 17:06:02 · 1231 阅读 · 0 评论 -
Logstash~Logstash配置(logstash.yml)详解
LogStash配置详解原创 2022-07-04 12:05:19 · 3159 阅读 · 0 评论 -
ElasticSearch~ElasticSearch jps查询显示process information unavailable
ElasticSearch一般是不允许使用root用户启动的,例如我这个就是用的es用户启动的ElasticSearch,启动之后切换回了root用户,使用jps命令查询进程的时候就会显示这个结果切换回启动ElasticSearch的用户,使用jps命令查看即可...原创 2022-07-02 15:27:37 · 395 阅读 · 0 评论 -
Kibana~Kibana的安装和配置
1. 注意事项2. kibana的安装3. kibana的配置4. kibana的启动原创 2022-07-02 15:09:19 · 2718 阅读 · 0 评论 -
ElasticSearch~ElasticSearch安装配置教程(含jdk安装教程)
删除压缩包重命名目录配置环境变量二、安装ElasticSearch上传ElasticSearch安装包到目录下解压压缩包删除压缩包重命名目录创建普通用户修改配置文件创建目录修改用户权限三、启动ElasticSearch切换用户启动服务3. 检查是否启动成功......原创 2022-06-29 17:53:45 · 2510 阅读 · 0 评论 -
Logstash~logstash.if使用教程(附带示例)
一、介绍和其他编程语言中的if判断类似可以使用的符号:innot==!=<=>=<>=~!~andorxornand语法:if EXPRESSION { ...} else if EXPRESSION { ...} else { ...}二、示例input{ syslog{ port => "514" add_field => { "fl原创 2022-04-29 11:25:05 · 3151 阅读 · 0 评论 -
Logstash~filter.json过滤器使用教程(附带示例)
一、介绍用来解析json格式数据的过滤器,默认会解析置顶字段的json数据并将其放置在Logstash事件的最顶级中,可以配置target配置项选择存放结果位置如果解析的数据包含一个@timestamp字段,会将解析的数据放在顶级的@timestamp中,如果解析失败,该字段将被重命名为_@timestamp二、source功能:选择解析字段的位置介绍:没有位置,必须要配置filter{ json { # 将message作为解析json的字段 sour原创 2022-04-29 10:50:14 · 3686 阅读 · 0 评论 -
Logstash~filter.kv插件使用教程(附带示例)
一、kv介绍用于解析key=value类型的消息,可以配置任意字符串来拆分数据,不一定非要用=符号,kv对的间隔也不一定非要用空格二、allow_duplicate_values功能:允许重复键值对介绍:默认为true,两个相同的键值对都会被放到数组中,如果设置为false,则相同的键值对只会显示一个filter{ kv { source => "message" # 允许重复键值对 allow_duplicate => "t原创 2022-04-28 18:40:58 · 2001 阅读 · 0 评论 -
logstash~filter.mutate插件使用教程(附带示例)
一、mutate插件介绍1.描述muatet过滤器允许用户对字段进行改变,可以重命名、替换和修改事件中的字段。2.操作顺序coercerenameupdatereplaceconvertgsubuppercasecapitalizelowercasestripsplitjoinmergecopy二、convert功能:类型转换介绍:将目标字段转换为目标类型类型介绍:integer:将字段转换为整数,逗号分隔符和点小数 1,000=1000 1.000=1原创 2022-04-27 12:53:03 · 1071 阅读 · 0 评论 -
Logstash~filter通用配置项使用教程(附带实例)
一、add_field功能:添加字段介绍:在filter过滤成功之后,可以添加字段,可以添加多个字段,必须写在filter组件内部,可以动态添加字段filter{ grok{ match => { "message" => "%{NUMBER:number} %{WORD:name}" } add_field => { "f1" => "field1" "f2" =原创 2022-04-26 17:05:36 · 3145 阅读 · 0 评论 -
Logstash~filter.grok插件使用教程(附带实例)
->->grok在线测试网站-<-<->->grok官方匹配模式-<-<->->正则表达式官方语法-<-<一、grok介绍描述任意文本并对其进行结构化将非结构化日志数据解析为结构化和可查询的数据语法:%{SYNTAX:SEMANTIC}SYNTAX:要匹配的模式名称SEMANTIC:为匹配的文本提供的标识符二、match:匹配1.常规匹配按照%{SYNTAX:SEMANTIC}语法进行匹配,将SYNTAX原创 2022-04-26 17:04:11 · 1631 阅读 · 0 评论 -
LogStash~LogStash的配置文件
设置文件已在 Logstash 安装中定义。Logstash 包括以下设置文件:logstash.yml包含 Logstash 配置标志。您可以在此文件中设置标志,而不是在命令行中传递标志。您在命令行设置的任何标志都会覆盖文件中的相应设置logstash.yml。logstash.yml官方文档。pipelines.yml包含在单个 Logstash 实例中运行多个管道的框架和指令。pipelines.yml官方配置。jvm.options包含 JVM 配置标志。使用此文件设置总堆空原创 2022-04-20 10:53:15 · 984 阅读 · 0 评论 -
LogStash~LogStash的目录布局
类型描述位置环境homelogstash安装的主目录{extract.path}bin二进制脚本目录{extract.path}/binsettings配置文件目录{extract.path}/configpath.settingslogs日志文件目录{extract.path}/logspath.logsplugins本地的,非Ruby-Gem插件{extract.path}/pluginspath.pluginsdata...原创 2022-04-20 10:52:23 · 637 阅读 · 0 评论 -
LogStash~LogStash的执行模型
1.input & filter & outputLogStash管道中的每个输入阶段都在其自己的线程中运行。输入将事件写入内存(默认)或磁盘中的中央队列。每个管道工作线程从该队列中取出一批事件,通过配置的过滤器运行这批事件,然后通过任何输出运行过滤后的事件。批处理的大小和管道工作线程的数量是可配置的2.缓冲默认情况下,LogStash在管道阶段(input->filter->output)之间使用内存中的有界队列来缓冲事件。如果LogStash不安全的终止,则存储在内存中原创 2022-04-20 10:51:26 · 212 阅读 · 0 评论 -
LogStash~LogStash的工作原理
LogStash事件处理管道具有三个阶段:input->filter->output。input生成事件,filter修改它们,output将它们发送到其他地方。input和output支持编解码器,能够在数据进入或退出管道时对其进行编码或解码,而无需使用单独的过滤器1.inputinput插件的官方文档使用输入将数据输入LogStash,一些常用的输入包括:file:从文件系统上的文件中读取syslog:在514端口上监听syslog消息并根据RFC3164格式进行解析beats原创 2022-04-20 10:48:38 · 398 阅读 · 0 评论 -
LogStash~LogStash命令行可选参数
一、--config.test_and_exit解析配置文件并报告错误logstash -f test.conf --config.test_and_exit二、--config.reload.automatic启用自动重载加载配置logstash -f test.conf --fconfig.reload.automatic原创 2022-04-20 10:41:03 · 371 阅读 · 0 评论 -
LogStash~LogStash的多个输入输出
一、多个输入输出示例input { twitter { consumer_key => "enter_your_consumer_key_here" consumer_secret => "enter_your_secret_here" keywords => ["cloud"] oauth_token => "enter_your_access_token_here" oauth_token_原创 2022-04-20 10:31:11 · 1499 阅读 · 0 评论 -
LogStash~LogStash的output(输出)
1.标准输出output { stdout { codec => rubydebug }}2.ElasticSearchoutput { elasticsearch { hosts => [ "host:9200" ] }}3.文件input { file { path => "/path/to/target/file" }}原创 2022-04-20 10:26:48 · 3999 阅读 · 0 评论 -
LogStash~LogStash的filter(过滤)
1. Grok:能够将非结构化日志数据解析为结构化和可查询的内容官方教程filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} }}2.Geoip:查找 IP 地址,从地址中获取地理位置信息,并将该位置信息添加到日志中。官方教程filter { geoip { source => "clientip" }}...原创 2022-04-20 10:25:40 · 897 阅读 · 0 评论 -
LogStash~LogStash的input(input)
1.标准输入(控制台输入)input { stdin { }}2.sysloginput { syslog { port => "514" }}3.twitterinput { twitter { consumer_key => "enter_your_consumer_key_here" consumer_secret => "enter_your_secret_here"原创 2022-04-20 10:22:23 · 406 阅读 · 0 评论 -
LogStash~LogStash一站式教程(持续更新中)
LogStash的相关功能较多,为了便于查找和使用,我把每一类的问题单独写了一篇博客,下面是每个分类的链接,读者可以根据自身需要查看一、LogStash的安装原创 2022-04-18 16:37:08 · 483 阅读 · 0 评论 -
LogStash~LogStash8的安装(包含jdk17的安装)
一、Java的安装卸载虚拟机自带的Javarpm -qa | grep -i java | xargs -n1 rpm -e --nodeps上传java安装包到/export/server/目录下解压java压缩包tar -zxvf /export/server/jdk-8u65-linux-x64.tar.gz 删除安装包rm -rf /export/server/jdk-8u65-linux-x64.tar.gz 重命名文件夹mv /export/server/jdk1.8.0原创 2022-04-18 16:33:12 · 3077 阅读 · 1 评论 -
ElasticSearch~聚合查询~(求和、最大值、最小值、平均值、去重、百分比、占比、中位数、topN、分组聚合)
一、ES聚合分析查询的写法"aggregations" : { "<aggregation_name>" : { <!--聚合的名字 --> "<aggregation_type>" : { <!--聚合的类型 --> <aggregation_body>原创 2022-02-25 21:20:38 · 14507 阅读 · 0 评论 -
ElasticSearch~查询操作~(简单查询、批量查询、匹配查询、模糊查询、精确查询、范围查询、通配符查询、must查询、should查询、过滤查询)
一、简单查询一、查询所有结果GET /student_info/_search{ "query": {"match_all": {}}}二、根据条件查询GET /student_info/_search{ "query":{ "match":{ "name":"张三" } }}三、排序GET /student_info/_search{ "query":{ "match":{ "name":"张三" } }原创 2022-02-25 21:17:49 · 4709 阅读 · 0 评论 -
ElasticSearch~ES文档操作~对文档的增删改查
一、新增文档一、指定文档ID:手动指定IDPOST可以不指定ID,会自动生成IDPOST /teacher/_doc/1001{ "name":"李四", "age":23, "phone":"17711117777"}PUT必须指定IDPUT /teacher/_doc/1002{ "name":"王五", "age":23, "phone":"13222223333"}二、自动产生文档IDPOST /teacher/_doc{ "name"原创 2022-02-25 21:14:36 · 1484 阅读 · 0 评论 -
ElasticSearch~ES索引操作~对索引的增删改查
一、创建索引一、创建索引PUT /student_test二、创建索引并且指定分片数量(2个分片,2个副本)PUT /student{ "settings": { "number_of_shards": 2, "number_of_replicas": 2 }}三、创建索引并且指定分片数量与Mapping映射PUT /teacher{ "settings": { "number_of_shards": 2, "number_of_replic原创 2022-02-25 21:11:49 · 1264 阅读 · 0 评论