![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ELK
跟攀博学Java编程
传智燕青老师拥有近二十年的软件开发和教学经验,曾经录制的SpringMVC/Mybatis课程下载量超10万,Activiti工作流技术、Shiro/SpringSecurity认证授权技术专题、ShardingJDBC数据库分库分表技术专题、Lucene/Solr/Elasticsearch搜索技术专题、Java分布式系统事务控制技术专题、RabbitMQ/RocketMQ消息队列技术专题、医药采购系统、学成在线项目、聚合支付项目等课程广受学员好评。
展开
-
Logstash之input插件监控日志文件
Logstash介绍logstash就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供里很多功能强大的滤网以满足你的各种应用场景Input插件监控日志1:stdin标准输入和stdout标准输出首先执行命令:bin/logstash -e 'input { stdin { } }...原创 2019-11-24 07:19:15 · 1643 阅读 · 0 评论 -
Logstash之TCP插件
TCP是一种网络传输控制协议,很多公司的数据不一定是在本地的,而是在传承网络的;这个时候使用TCP简历连接后,通信双王就可以进行数据传输了;TCP插件可以监控某个端口,当数据打入logstash监听的端口队列的时候,logstash就可以进行数据的采集vim monitor_tcp.confinput{ tcp { port => 9876 mo...原创 2019-11-24 07:23:53 · 1871 阅读 · 0 评论 -
logstash之codec监控nginx日志
Codec 来自 Coder/decoder两个单词的首字母缩写,Logstash 不只是一个input | filter | output 的数据流,而是一个input | decode | filter | encode | output 的数据流,codec 就是用来decode、encode 事件的。简单说,就是在logstash读入的时候,通过codec编码解析日志为相应格式,从l...原创 2019-11-24 07:29:25 · 337 阅读 · 0 评论 -
logstash之multiline 插件合并多行数据
在处理日志时,除了访问日志外,还要处理运行时日志,该日志大都用程序写的,比如 log4j。运行时日志跟访问日志最大的不同是,运行时日志是多行,也就是说,连续的多行才能表达一个意思。multiline 插件有三个设置比较重要:negate、pattern 和 whatVim multiline.confinput { file{ path=&g...原创 2019-11-24 07:35:09 · 1328 阅读 · 0 评论 -
logstash之filter-grok正则的使用进行定制化字段
Logstash之所以强悍的主要原因是filter插件;通过过滤器的各种组合可以得到我们想要的结构化数据。grok正则表达式grok正则表达式是logstash非常重要的一个环节;可以通过grok非常方便的将数据拆分和索引语法格式:(?<name>pattern) ?<name>表示要取出里面的值,pattern就是正则表达式例子:收集控制台输入,然后将...原创 2019-11-24 07:41:08 · 2650 阅读 · 1 评论 -
logstash之filter-patterns库的正则表达式非格式化的数据格式化
patterns正则表达式库介绍默认grok调用的是:/logstash-5.5.2/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.1.1/patterns 这个目录下的正则上面的例子,可以这样写:input {stdin{}}filter { grok { match => {# "messa...原创 2019-11-24 07:45:06 · 456 阅读 · 0 评论 -
logstash之filter-Geoip寻找日志ip的经纬度和城市及Key-value拆分
geoip查询logstash可以将nginx的非格式化日志进行格式化(参考https://blog.csdn.net/weixin_44062339/article/details/103221269),那么在nginx的日志中有IP;往往会根据ip定位当前的地理位置,然后在kibana上以高德地图做展示;Vim /conf/template/geoip.conf启动:bin/logst...原创 2019-11-24 07:51:35 · 1583 阅读 · 0 评论 -
logstash之output插件-输出数据到控制台、file文件、elasticsearch、redis
output插件是经过了input,然后过滤结构化数据之后,接下来我们需要借助output传到我们想传到的地方.output相当于一个输出管道。将采集数据标准输出到控制台配置示例output { stdout { codec => rubydebug }}Codec 来自 Coder/decoder两个单词的首字母缩写,Logst...原创 2019-11-24 07:57:24 · 7939 阅读 · 0 评论 -
Elasticsearch6.2 研究--集群管理
目录8 Elasticsearch6.2集群管理8.1 集群结构8.2 搭建集群8.2.1 结点的三个角色8.2.2创建结点 18.2.3创建结点 28.2.4 创建索引库8.2.5 集群的健康8.3 测试8 Elasticsearch6.2集群管理8.1 集群结构Elasticsearch通常以集群方式工作,这样做不仅能够提高 ES的搜索能力还可以处理大数据搜索的能力,同时也增加了系统的容...原创 2018-12-18 08:50:35 · 513 阅读 · 0 评论 -
Elasticsearch6.2 研究--搜索管理
目录7Elasticsearch6.2搜索管理7.1 准备环境7.1.1 创建映射7.1.2 插入原始数据7.1.3 简单搜索7.3 DSL搜索7.3.1 查询所有文档7.3.2 分页查询7.3.3 Term Query7.3.4 根据id精确匹配7.3.5 match Query7.3.6 multi Query7.3.7 布尔查询7.3.8 过虑器7.3.9 排序7.3.10 高亮显示7...原创 2018-12-18 08:45:35 · 586 阅读 · 0 评论 -
Elasticsearch6.2 研究--索引管理
目录6Elasticsearch6.2索引管理6.1 搭建工程6.1.1 客户端6.1.2 创建搜索工程6.2创建索引库6.2.1 API6.2.2 Java Client6.3 添加文档6.3.1 API6.3.2 Java Client6.4 查询文档6.4.1 API6.4.2 Java Client6.5 更新文档6.5.1 Api6.5.2 Java Client6.6 删除文档6.6....原创 2018-12-18 08:41:34 · 662 阅读 · 0 评论 -
Elasticsearch6.2 研究--映射管理
目录5 Elasticsearch6.2映射管理5.1 映射维护方法5.2 常用映射类型5.2.1 text文本字段5.2.1.1 测试5.2.2 keyword关键字字段5.2.2.1测试5.2.3 date日期类型5.2.4 数值类型5.2.5 综合例子5 Elasticsearch6.2映射管理 上边章节安装了ik分词器,如果在索引和搜索时去使用ik分词器呢?如何指定其它类型的fiel...原创 2018-12-18 08:28:53 · 532 阅读 · 0 评论 -
Elasticsearch6.2 研究--IK分词器
目录4 IK分词器4.1测试分词器4.2 安装IK分词器4.3 两种分词模式4.4 自定义词库4 IK分词器4.1测试分词器在添加文档时会进行分词,索引中存放的就是一个一个的词(term),当你去搜索时就是拿关键字去匹配词,最终找到词关联的文档。测试当前索引库使用的分词器:post 发送:localhost:9200/_analyze{“text”:“测试分词器,后边是测试内容:spr...原创 2018-12-18 08:25:27 · 728 阅读 · 0 评论 -
Elasticsearch6.2 研究--介绍与安装
目录1 Elasticsearch6.2介绍1.1 介绍1.2原理与应用1.2.1索引结构1.2.3 RESTful应用方法2 Elasticasearch6.2安装2.1 安装2.2 配置文件2.2.1 三个配置文件2.2.2 Elasticsearch.yml2.2.3 jvm.options2.2.4 log4j2.properties2.2.5 系统配置2.3 启动ES2.4 head插件...原创 2018-12-18 08:14:06 · 426 阅读 · 0 评论 -
Elasticsearch6.2 研究--快速入门
目录3 Elasticsearch6.2快速入门3.1 创建索引库3.2 创建映射3.2.1 概念说明3.2.2 创建映射3.3 创建文档3.4 搜索文档3 Elasticsearch6.2快速入门 Elasticsearch作为一个索引及搜索服务,对外提供丰富的REST接口,快速入门部分的实例使用head插件来测试,目的是对ES的使用方法及流程有个初步的认识。3.1 创建索引库 ...原创 2018-12-18 08:20:21 · 492 阅读 · 0 评论