![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
ELK
文章平均质量分 89
ElasticSearch、Logstash、Kibana
大鹏的世界
天道酬勤!分布式+大数据架构解决方案
展开
-
详解日志采集工具--Logstash、Filebeat、Fluentd、Logagent对比
LogstashLogstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。优势Logstash 主要的有点就是它的灵活性,主要因为它有很多插件,详细的文档以及直白的配置格式让它可以在多种场景下应用。我们基本上可以在网上找到很多资源,几乎可以处理任何问题。劣势Logstash 致命的问题是它的性能以及资源消耗(默认的堆大小是 1GB)。尽管它的性能在近几年已经有很大提升,与它的替代者们相比还是要转载 2021-08-10 11:09:52 · 5556 阅读 · 0 评论 -
ElasticSearch7.x「新特性」
背景原来一直用的ES6,刚转到ES7踩得一些坑,和一些新特性的学习过程。1. ES 数据库的存储结构变化:去除了Typees6时,官方就提到了es7会删除type,并且es6时已经规定每一个index只能有一个type。在es7中使用默认的_doc作为type,官方说在8.x版本会彻底移除type。 api请求方式也发送变化,对索引的文档进行操作的时候,默认使用的Type是_doc 如获得某索引的某ID的文档:GET index/_doc/id其中index和id为具体的值2.创建索引m.原创 2020-11-19 20:07:26 · 1819 阅读 · 0 评论 -
Elasticsearch7.9.2中文分词器-IK分词器使用
elasticsearch默认提供了standard分词器,但对中文的分词效果不尽人意:可以看出,把词语分成了一个个的汉字,这并不是我们想要的,接下来介绍下中文分词器-IK分词器的安装及使用。1、IK分词器下载及安装github:https://github.com/medcl/elasticsearch-analysis-ik各版本分词器下载:https://github.com/medcl/elasticsearch-analysis-ik/releases选择版...原创 2020-11-19 19:33:49 · 899 阅读 · 1 评论 -
ELK: KQL学习清单
获取Es所有的索引库index :GET _cat/indices 获取指定 Index 所有 type:GET /kibana_sample_data_flights/_mapping?pretty=true 查看集群健康:GET _cluster/health原创 2020-11-19 15:35:51 · 1064 阅读 · 0 评论 -
ELK:反向代理及负载均衡
裸奔应用:kibana:elasticsearch-head:es-api(9200):Nginx反向代理实现Kibana登录认证功能yum install -y httpd-tools htpasswd -c -b /usr/local/nginx/conf/passwd/kibana.passwd 输入账号和密码 设置Nginx 站点,然后进行反向代理设置,最后进行站点访问location / { auth_basic "Restricted Access"...原创 2020-11-19 15:03:26 · 400 阅读 · 0 评论 -
Elasticsearch简介及与MySQL查询原理对比(ELK架构入门必读)
开头Elasticsearch是一个被广泛使用的搜索引擎,通过本文你可以了解:1.Elasticsearch适合做什么,不适合做什么,对于你判断是否需要使用Elasticseaerch给出一个参考。2.Elasticsearch与MySQL在索引查询上的原理分别是什么,告诉你Elasticsearch为什么查询比MySQL快。3.如果你要使用Elasticsearch,应该如何做架构设计,Elasticsearch与MySQL如何相互配合。4.如果你的搜索很慢,应该如何排查Elastic原创 2020-11-18 14:42:33 · 2017 阅读 · 4 评论 -
ELK概念清单(ELK架构入门必读)
1.倒排索引(反向索引)直接硬刚理解比较难以理解,但是我们可以从反面来进行对比来分析。反向索引的反面即正向索引,我理解为我们平常使用如redis的key-value方式,是通过key来查找value。而elasticsearch则刚好与之相反,他是通过将value分成多份来查询key的,例如,有这么一个键值对:"letter"->"abcdefg"使用redis即get letter可获取到值abcdefg使用elasticsearch,搜索a或b或c或d或e或f或g,就会返回ab.原创 2020-11-18 14:40:32 · 555 阅读 · 1 评论 -
Docker+ELK生产环境IP设置清单
待整理原创 2020-11-18 14:12:59 · 225 阅读 · 0 评论 -
Docker安装Kafka+ELK日志收集
安装ELK接下来我们来安装ELKdocker pull sebp/elk 1执行命令,将镜像运行为容器,为了保证ELK能够正常运行,加了-e参数限制使用最小内存及最大内存。docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 -e ES_MIN_MEM=128m -e ES_MAX_MEM=2048m -it --name elk sebp/elk 错误:max virtual memory ar..原创 2020-11-17 16:06:10 · 727 阅读 · 0 评论