ELK+Filebeat
星辰_mya
好好学习,天天向上
展开
-
elasticseach基础详解
我们建立一个网站或应用程序,并要添加搜索功能,但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快,我们希望能有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP来索引数据,我们希望我们的搜索服务器始终可用,我们希望能够从一台开始并扩展到数百台,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。因此我们利用Elasticsearch来原创 2017-09-07 18:35:14 · 1218 阅读 · 10 评论 -
【elasticsearch】查询结果 高亮显示
总的来说:三种高亮显示 一、plain highlight(默认) 二、posting highlight(性能) 对磁盘的消耗更少 将文本切割为句子,并且对句子进行高亮,效果更好 性能比plain highlight高,因为不需要重新对高亮文本进行分词 三、fast vector highlight(文件) 对大文件而言(大于1M),性能更高代码时间默认创建索原创 2018-03-28 09:36:01 · 23097 阅读 · 29 评论 -
【Filebeat 6.1】Configuring Filebeat》Set up prospectors设置探查者(一)配置文件讲解
前言: 看官网有点费劲,翻译一下,个人笔记 https://www.elastic.co/guide/en/beats/filebeat/6.1/configuration-filebeat-modules.htmlSet up prospectorsedit Filebeat modules provide the fastest getting started exper...翻译 2018-03-29 08:57:01 · 1519 阅读 · 11 评论 -
【ELK】elasticsearch集群搭建
elasticsearch集群搭建挺简单的,根据 es单机版安装 分别在95和93服务器上面安装了es,单机安装完之后,选择95作为主节点: elasticsearch.yml中cluster.name: user-action-data//集群名字各节点要一致node.name: action-node-95//本节点的名字,不能相同discovery.zen.ping.unicast.ho原创 2018-04-04 18:41:23 · 393 阅读 · 6 评论 -
【ELK】正则、L的Grok过滤
前言: 之前的博客中写了通过正则配置filebeat的多行文本,正则在logstash的gork中也起了至关重要的作用,下面就让我们来了解一下正则吧,今天上午看了菜鸟教程关于正则的知识点,对正则有了些许了解,通过这些了解把filebeat中的正则复制一把吧; 正则表达式(regular expression)一种文本模式,描述了一种字符串匹配的模式(pattern),可以用来检查一个串是...原创 2018-04-12 09:47:20 · 1612 阅读 · 8 评论 -
【Logstash】Filter plugins Grok filter plugin正则匹配
https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html 前言:同上一篇Grok is a great way to parse unstructured log data into something structured and queryable.This tool is perfect for sy翻译 2018-03-29 15:54:12 · 873 阅读 · 15 评论 -
【elsticsearch】搜索模板
search template:模板化、复用 1、paramsGET /blog_website/blogs/_search/template{ "inline" : { "query": { "match" : { "{{field}}" : "{{value}}" } } }, "params" :原创 2018-04-12 09:48:26 · 634 阅读 · 6 评论 -
【elasticsearch】ik分词器安装配置
es原生的分词器挺好,不过为了更好,分更多的词我们还是需要安装ik分词器滴,怎么安装呐,之前一直挺不想安装这个分词的,今天终究还是安了,没想到竟然 这么简单!!! 首先,进入es的bin目录下 ./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/downl...原创 2018-04-12 09:49:07 · 260 阅读 · 5 评论 -
【ELK】ELK菜鸟手记 (一) 环境配置+log4j日志记录——转自Master HaKu
感谢Master HaKu的分享,博客园的账号忘了,文章里面有原文链接,尊重原创ELK菜鸟手记 (一) 环境配置+log4j日志记录 - Master HaKu - 博客园 Master HaKu不积跬步,无以至千里;技术积累从点滴做起。 ...转载 2018-04-12 09:50:36 · 391 阅读 · 5 评论 -
【elasticsearch】filebeat+ELK收集数据的过程详述
前言: 为了日志收集,用了4台虚拟机,filebeat52一台,es两台95、93,logstash一台75,kibana和es的主节点在一台服务器95上,因为安装了x-pack BUT 不会用的原因、真是坑自己不带眨眼滴走了很多弯路,说多了都是泪,之前写了安装搭建的博客,希望给大家带来帮助吧,如果没有帮助那我就是在做笔记;^_^filebeat类似一个管...原创 2018-04-12 09:51:32 · 3083 阅读 · 12 评论 -
【Elasticsearch】查与部分增
前言: 最近感觉有好多事情要做,时间真是越来越珍贵啦正文: 首先Elasticsearch(以下简称es)是一个基于Lucene的搜索服务器,顾名思义是查询方面的一个能手,但是他也是有一套自己的增删改的、相对而言用处较少,也比较简单所以简单略过啦: 增:指定的 /Index/Type/id 发送 PUT 请求 可...原创 2018-04-18 08:41:21 · 266 阅读 · 4 评论 -
【Logstash】Logstash详解
前言: 本来想大概介绍一下,但是写着写着就多了,谢谢各位大佬们的博客,提供思路,本篇博客也是发挥了链接无处不在的特色,希望给大家带来帮助,为什么最近(现在才感觉刚刚入门)开始频繁地写博客(另外有些事情需要外出、为了更好的给后面的人带来便利),我把整理的都写出来,给大家带来帮助皆大欢喜,没有帮助请勿吐槽,吐槽也没有关系,我尽量不因为外界而自讨没趣、生闷气介绍Logstash:数据处...原创 2018-04-22 08:05:54 · 11027 阅读 · 53 评论 -
【ELK+angular行为分析】
中间有过改动的地方,想想还是留着之前的,记录一下这个思考、变化的过程哇~终于到写博客的时候了行为分析:分析什么(用户的行为) 前端是angular,借助其自带的指令收集用户行为; 后端借助ELK:存到elasticsearch中借助kibana强大的图形展示 以图表方式展示分析的结果;思路:1、分为二部分:整个系统为一个实体,具体网页 为一个实体,其实还有一个局部区域的实体,...原创 2018-04-19 17:21:20 · 986 阅读 · 10 评论 -
【kibana】使用——较全
先上本尊照骗:      聪明的泥萌发现了什么?或许伱发现了很多,我只想说:对的、我安装的是6.1.2版本全套ELK,在下资质浅薄、关于ELK的博客能写到kibana也是真真滴不易呀,希望能给路过的各位填几个坑吧,埋原创 2018-05-14 10:07:32 · 8399 阅读 · 9 评论 -
【ELK】liunx安装ELK、filebeat及x-pack
官网下载地址先贴出来:https://www.elastic.co/downloads 需要的自取,默认下载最新版,找到之前的版本对我来说有点困难,不过在6.1.2的时候我机智的下载了全套,需要的话下面会上传到CSDNELK简介: Elasticsearch:分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建,能对大容量的数据进行接近实时的...原创 2018-04-03 10:19:52 · 815 阅读 · 7 评论 -
elasticsearch:算法 function_score自定义相关度分数
可以自定义一个function_score函数,自己将某个field的值,跟es内置算出来的分数进行运算,然后由自己指定的field来进行分数的增强如网络中的帖子,查看的人越多,帖子的分数越高GET /forum/article/_search{ "query": { "function_score": { "query": { "multi_match":原创 2018-03-13 11:03:11 · 2885 阅读 · 5 评论 -
elasticsearch:搜索常见相关度分数优化方法——笔记
一、提权,又见boostGET /forum/article/_search{ "query": { "bool": { "should": [ { "match": { "title": { "query": "java spark", "boost": 2原创 2018-03-13 10:40:24 · 2242 阅读 · 3 评论 -
Elasticsearch
最近在研究Elasticsearch,前天搭集群没有成功,而且原来的那个也不能访问了,知道还有行为分析在用这个Es之后,吓得宝宝赶紧把搭的集群给删了,俗话说从哪里跌倒就从哪里入睡今天在这个特殊的日子里(2017年8月28日20:09:15,刚才去了一趟金街——好热闹:然而热闹的是他们……)废话说完了,进去正题。ElasticSearch一个基于Lucene的搜索服务器。它提供了一个分布原创 2017-09-10 20:40:45 · 408 阅读 · 10 评论 -
es安装——转自马康的笔记
近来2017年11月20日10:18:03安装了elasticsearch,这es有点——怎么说,安装过的人(2及其以上版本)感触可能比较多,昨天试了几次无果,马康正巧也研究这块,他安装好之后便把整理的结果给我了,其实安装也不难,不过需要正确的方法。下面是一张图片,里面一些小瑕疵,用户名那块是不匹配的,需要大家注意一下;另一个如果想远程访问,network.host 设置成0.0.0.0 想要指...转载 2017-11-29 16:56:22 · 479 阅读 · 25 评论 -
ELK
E:分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。 基于 Apache Lucene 构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。 通常被用作某些应用的基础搜索引擎,使其具有复杂的搜索功能Kibana:数据分析和可视化平台,提供的数据分析的 Web 接口,可使用它对日志进行高效的搜索、可视化、分析等各种操作。 与 Elasticsearch 配合...原创 2018-02-12 20:34:56 · 1256 阅读 · 23 评论 -
【elasticsearch】搜索:fuzzy纠错
fuzzy搜索以后,会自动尝试将你的搜索文本进行纠错,然后去跟文本进行匹配搜索的时候,可能输入的搜索文本会出现误拼写的情况,怎么办?药方fuzzyGET /my_index/my_type/_search { "query": { "fuzzy": { "text": { "value": "surprize", "fuzziness":转载 2018-03-15 17:59:47 · 1986 阅读 · 9 评论 -
elasticsearch best-fields策略——笔记
前言: es的搜索有一些策略: best-fields策略,主要是说将某一个field匹配尽可能多的关键词的doc优先返回回来(获取最佳匹配的field),另个可以通过tie_breaker来控制其他field的得分 most-fields策略,主要是说尽可能返回更多field匹配到某个关键词的doc,优先返回回来在es多个shard背景下,搜索的结果会不太准确原创 2018-03-09 20:49:41 · 1270 阅读 · 2 评论 -
elasticsearch most_fields策略
接着上一篇,再复制粘贴一篇《♪(^∇^*)》GET /forum/article/_search{ "query": { "multi_match": { "query": "learning courses", "type": "most_fields", "fields": [ "sub_ti原创 2018-03-09 21:05:57 · 820 阅读 · 6 评论 -
elasticsearch:近似匹配、短语匹配及优化——笔记
短语匹配:phrase match:多个term作为一个单位,作为搜索条件GET /forum/article/_search{ "query": { "match_phrase": { "title":{ "query": "java spark", "slop":3 } } }}sl原创 2018-03-11 10:25:33 · 4998 阅读 · 2 评论 -
elasticsearch:搜索:前缀、通配符、正则
全文搜索: 每个字符串都需要被分词,形成倒排索引 match性能较高:扫描倒排索引(表)一旦扫描到便不需要再搜索 前言: 下面的搜索性能都比较差 = 能不用就不用类型前缀搜索 扫描到了还是有继续搜索,直到扫描完整个倒排索引GET my_index/my_type/_search{ "query": { "prefix": { "title": {原创 2018-03-11 11:06:14 · 2674 阅读 · 5 评论 -
elasticsearch 搜索推荐及优化
类似百度,下拉框自动匹配输入的内容 最后一个term前缀搜索,前面的match搜索,筛选出结果 max_expansions:指定prefix最多匹配多少个term,超过就不匹配了,限定性能(大数据) ngram和index-time搜索推荐原理1、什么是ngramquick,5种长度下的ngram:ngram length=1,原创 2018-03-12 10:00:05 · 1665 阅读 · 4 评论 -
elasticsearch:IF&IDF算法、向量空间模型——笔记
大数据,数据量辣么多,要查询的话谁在前面谁在后面?数据又不能贿赂搜索框,再说Wuli es可是铁面无私、全心全意为人民服务的boy,所以面对这种情况,我们有一套狠复杂的算法,打分排序算法公式什么的,我就不说了,直接上中文:先说搜索过滤的时候,boolean model类似and这种逻辑操作符,先过滤出包含指定term的docquery "hello world" --> 过滤 --> hello /原创 2018-03-12 10:55:51 · 1798 阅读 · 2 评论 -
elasticsarch:IF/IDF算法——笔记
查询:hello world 输入的是:"match": { "title": "hello world"}会被转成 boolean model"bool": { "should": [ { "match": { "title": "hello" } },原创 2018-03-12 11:21:41 · 701 阅读 · 4 评论 -
为elasticsearch6.1.2安装head插件
其实elasticsearch6.*的版本是不需要安装head插件的,kibana+x-pack就可以了,最近安装的软件、插件吧有点多,我也是很悲伤,这个head插件能起来,可以看到界面但是和es的连接有些问题,网上查了很多、解决方案挺一致的但是总是连接不上,后来把另一个节点的端口号开了一下,成功连接【帅气的我】步骤:修改 elasticsearch/config/elasticsearc...原创 2018-02-25 21:42:07 · 1420 阅读 · 27 评论 -
ES与spring boot集成 杂烩
主要是摘抄其他博客,汇成此篇,主要是担心自己忘了 做些笔记和链接首先推荐《ElasticsearchTemplate的详细使用,完成多条件查询、匹配度查询等》写的很好,图看不到的请点击查看https://blog.csdn.net/tianyaleixiaowu/article/details/76149547《ElasticSearchRepository和ElasticSearchTe...原创 2019-02-12 16:31:13 · 421 阅读 · 5 评论