Es
文章平均质量分 60
Elasticsearch-PHP文档:https://www.elastic.co/guide/cn/elasticsearch/php/current/index.html
夏已微凉、
这个作者很懒,什么都没留下…
展开
-
Postman创建Elasticsearch(2.4版本)索引
【代码】Postman创建Elasticsearch(2.4版本)索引。原创 2023-03-10 21:24:19 · 404 阅读 · 0 评论 -
logstash nginx error access 日志处理
logstash 配置文件nginx access 日志格式nginx access 拆分效果nginx error 日志格式:nginx error 拆分效果:logstash 配置文件input { file { type => "nginx-access" path => [ "/home/jiankunking/software/testdata/nginx/access.log" ] tags => [ "nginx","access"].转载 2020-10-17 14:30:06 · 649 阅读 · 0 评论 -
Kibana将语言设置为中文
[ Kibana将语言设置为中文 ]6.7以后系统开始支持中文了,修改语言只需要添加一行配置即可。文件位置:...\kibana-7.2.0-windows-x86_64\config\kibana.yml文件修改# Specifies locale to be used for all localizable strings, dates and number formats.#i18n.locale: "en"i18n.locale: "zh-CN"保存文件,重启 Kiban原创 2020-09-29 11:49:16 · 546 阅读 · 0 评论 -
Kibana 自定义索引模式 Index patterns
一、描述二、设置一、描述索引模式告诉Kibana您想要探索哪些Elasticsearch索引。 索引模式可以匹配单个索引的名称,或者包含通配符*以匹配多个索引。[ 例如 ]Logstash通常以system-info-YYYY.MMM.DD格式创建一系列索引。 要浏览所有日志数据,您可以指定索引模式system-info*二、设置找到索引模式 Setting -> Index Patterns点击 Create index pattern创建索引搜索表名字syst.原创 2020-09-28 14:42:54 · 9264 阅读 · 1 评论 -
ELK filebeat和logstash使用:配置单个文件来源、配置多个文件来源
一、Windows下载安装1、filebeat2、logstash二、配置1、梳理下流程2、filebeat配置3、logstash配置三、filebeat配置多个文件来源四、相关地址一、Windows下载安装1、filebeat下载:filebeat下载,注意别和es相差太多版本配置 根目录下的 文件 filebeat.yml启动cd D:\ProgramFiles\ELK\filebeat-7.2.0-windows-x86filebeat.exe -e -c filebeat.ym.原创 2020-09-28 10:48:22 · 1467 阅读 · 0 评论 -
ELK logstash中grok使用if判断消息是否包含某个字符串及以某个字符开头
一、语法二、使用三、相关文章一、语法使用条件来决定filter和output处理特定的事件。logstash条件类似于编程语言。条件支持if、else if、else语句,可以嵌套。[ 比较操作 ]相等: ==,!=, <,>,<=, >=正则: =~(匹配正则), !~(不匹配正则)包含: in(包含), not in(不包含)[ 布尔操作 ]and(与), or(或), nand(非与), xor(非或)[ 一元运算符 ]!(取反)()(复合表达式).原创 2020-09-28 10:15:00 · 7601 阅读 · 1 评论 -
ELK logstash gork匹配在线测试
1、在线调试2、kibana 中调试1、在线调试grok debugger 在线调试内容[2020-09-26 08:34:41] 127.0.0.1 GET local.test.com:8010/index/index/test?name=张三&id=9 0.412191[ info ] 信息异常正则[\s\S]*\]\s(?<client_ip>[0-9\.]+)\s(?<method>[A-Za-z]+)\s(?<url>[^\s.原创 2020-09-28 08:53:01 · 5246 阅读 · 3 评论 -
ELK logstash grok匹配失败存另外的es表
一、说明二、配置三、相关文章一、说明和这篇差不多 ELK logstash基本配置,只是多了个_grokparsefailure判断二、配置# 从日志写入信息input { file { # path:输入的文件的路径 string or array # 读取一个类型文件:path => "路径" # 读取多个类型文件:path => [ "路径1", "路径2", "...", "路径n" ] path =.原创 2020-09-28 08:46:10 · 921 阅读 · 1 评论 -
ELK logstash基本配置
一、说明二、windows启动logstash三、相关文章一、说明自定义一个配置文件匹配内容[2020-09-26 08:34:41] 127.0.0.1 GET local.test.com:8010/index/index/test?name=张三&id=9 0.412191配置文件# 从日志写入信息input { file { # path:输入的文件的路径 string or array # 读取一个类型文件:path =.原创 2020-09-27 17:45:16 · 372 阅读 · 0 评论 -
ELK 把date替换为logstash的@timestamp
一、内容二、相关文章一、内容需要把下面日志里的时间转换为Es的@timestamp字段[2020-09-26 08:34:41] 127.0.0.1 GET local.test.com:8010/index/index/test?name=张三&id=9 0.412191logstash 的配置文件中的filter可以这样写filter { grok { match => { # message配置单个规则: "messa.原创 2020-09-27 17:21:14 · 630 阅读 · 0 评论 -
ELK filebeat paths 参数配置
一、描述二、配置1、文件名不变2、文件名改变3、其他三、文件配置1、配置参考2、参考文章一、描述位于:根目录下的filebeat.yml文件 type -> paths二、配置1、文件名不变文件名不变,直接指定到对应文件即可E:\test\log\test.log2、文件名改变[ 比如 ]25号生成文件:25.log,25_api.log26号生成文件:26.log,26_api.log匹配 25.log,26.logE:\test\log\[0-9][0-9].原创 2020-09-27 16:39:05 · 1713 阅读 · 0 评论 -
ELK filebeat或logstash修改规则之后重写记录到ElasticSearch
一、描述二、处理1、说明2、单独使用 logstash3、logstash 与 filebeat 配合使用4、注意三、相关文章一、描述我们修改了logstash或filebeat的日志读取规则时,需要删除之前存入到es的数据,但是我们发现,删除了之后,之前写入的数据不能够重新写进去。原因:logstash或filebeat中有文件监听日志读取的位置,意思就是之前读取了的,不会重复读取,我们只需要删除掉记录日志读取位置的文件即可。删除 Es二、处理1、说明记录日志文件读取位置的文件.原创 2020-09-27 15:48:37 · 596 阅读 · 0 评论 -
Logstash自定义grok正则匹配规则
一、内容1、配置文件输入2、自定义正则生效二、相关文章一、内容1、配置文件输入input { file { ... }}filter { grok { match => { "message"=>"\[%{TIMESTAMP_ISO8601:timestamp}\] %{USERNAME:method}[T ]%{URL:url} %{NUMBER:exec_time}" } } } output { ...}2、.原创 2020-09-27 13:55:44 · 2253 阅读 · 1 评论 -
ELK logstash的grok 自带的正则匹配、自定义正则 使用
一、使用1、查看 grok 自带的正则2、语法3、使用1)、Sample Data2)、Grok Pattern3)、Custom Patterns4)、结果5)、正则讲解二、在线测试1、在线Grok Debug工具,Grok校验|调试2、Kibana中调试三、logstash配置文件1、配置文件输入2、自定义正则生效一、使用1、查看 grok 自带的正则ELK logstash的grok 自带的正则匹配2、语法需要提取出字段名%{官方定义的正则名或者自定义的正则名:从日志中提取出来的字.原创 2020-09-27 13:45:13 · 6154 阅读 · 1 评论 -
ELK logstash的grok 自带的正则匹配
一、前言1、说明2、示例二、grok自带正则1、说明2、内容一、前言1、说明当我们通过logstash把日志写进 es,logstash(默认)会把我们的每行日志记录当成一条记录,这条记录的字段名为message,如果我们想要从日志中提取出需要的字段,就要用到正则匹配了。2、示例日志记录如下[2020-09-26 08:34:41] 127.0.0.1 GET local.test.com:8010/index/index/test?name=张三&id=9 0.412191.原创 2020-09-27 08:50:57 · 1662 阅读 · 0 评论 -
ELK logstash的grok 自定义正则匹配日志
一、logstash 配置 grok1、配置单个规则2、配置多个规则二、grok 在线调试1、在线调试2、kibana 中调试三、相关文章一、logstash 配置 grok1、配置单个规则这里的流程是直接用logstash分析input源日志文件,然后处理日志数据fliter,grok,最后把数据输出input到elasticsearch中匹配下面内容中的 client_ip,method,url,duration[2020-09-26 08:34:41] 127.0.0.1 GET .原创 2020-09-26 16:00:56 · 2145 阅读 · 0 评论 -
ELK 收集多个日志文件
一、前言二、内容1、配置单个文件夹2、配置多个文件夹三、参考地址一、前言本文描述了如何把日志文件通过配置logstash写入elasticsearch二、内容1、配置单个文件夹已知:文件夹位于:H:\work\projectName\runtime\log\202009\25.log配置文件内容如下所示:input { file { path => "H:/abnorwork/erp_new/runtime/log/*/*.log" start_position =.原创 2020-09-25 17:46:51 · 1140 阅读 · 0 评论 -
php-elasticsearch 单条、批量插入数据
php-elasticsearch 单条、批量插入数据1.单条插入<?phpinclude '../vendor/Elasticsearch/autoload.php';$a['hosts'] = array( #需要用户名时 http://user:password@URL:por 其他时候直接写ip:port 'ip:9200',);$client =...转载 2020-06-28 09:41:52 · 1961 阅读 · 0 评论 -
ElasticSearch安装分词插件IK
目录前言一、下载安装IK二、测试使用三、其他1、附带了解一下Analyzer与Tokenizer2、ik_max_word 和 ik_smart 什么区别?前言ElasticSearch本身带有分词插件,对英文支持的很好,但对中文支持的就不好了,把中文都分成了单个文字所以我们安装一个支持中文的插件IK一、下载安装IK下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases选择对应的版本,我这里下载的是7.6.2的版本转载 2020-06-24 10:29:50 · 230 阅读 · 0 评论 -
windows环境下安装elasticsearch
目录一、JAVA环境配置1、为什么要配置2、怎么配置3、是否配置成功二、ElasticSearch配置三、安装ElasticSearch-head插件1、安装node环境2、安装grunt3、下载并安装head插件1、下载head2、安装head3、访问head一、JAVA环境配置1、为什么要配置ElasticSearch是基于lucence开发的,也就是运行需要java jdk支持。所以要先安装JAVA环境。由于ElasticSearch 5.x 依赖于JDK 1.8的,所以现在我们下载JDK转载 2020-06-24 09:13:42 · 294 阅读 · 0 评论 -
access denied (java.io.FilePermission IKAnalyzer.cfg.xml read
access denied ("java.io.FilePermission""........\IKAnalyzer.cfg.xml""read"1、原因:es 如果装了插件,路径文件夹不能有空格或者汉字2、错误:我把es装在这个目录 D:\Program Files\elasticsearch 了,Program Files中有个空格 0.03、转载地址:access denied ("java.io.FilePermission""...转载 2020-06-23 17:46:30 · 1742 阅读 · 1 评论 -
elasticsearch-head 集群健康值: 未连接
目录一、运行elasticsearch.bat1、启动2、启动失败3、启动成功浏览器截图二、运行 elasticsearch-head-master1、运行2、结果三、解决 [ 集群健康值:未连接 ] 问题四、参考地址一、运行elasticsearch.bat1、启动找到 elasticsearch的安装目录 D:\Program Files\elasticsearch\elasticsearch-7.2.0\bin双击 elasticsearch.bat 运行elasticsearch.bat原创 2020-06-23 17:13:50 · 3018 阅读 · 2 评论