EFK
文章平均质量分 81
DemonHunter211
这个作者很懒,什么都没留下…
展开
-
通过 elasticsearch-sql 使用 SQL 语句聚合查询 Elasticsearch 获取各种 buckets 桶
Elasticsearch 的 buckets(桶)包含 Histogram、Date Histogram、Range、Date Range、Terms、IPv4 Range、Significant Terms 等;1.Histogram:SELECT * FROM INDEX-2017-12 GROUP BY (histogram('alias'='log_date.mthAggs', ...原创 2018-11-07 14:18:42 · 609 阅读 · 0 评论 -
ElasticSearch学习笔记(01)
问题一、ElasticSearch是什么?有什么用处?答:截至2018年12月28日,从ElasticSearch官网(https://www.elastic.co/cn/products)上,得知:ElasticSearch是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可靠性和管理便捷性而设计。用于搜索、分析和存储您的数据。问题二、ElasticSearch的由来?答...原创 2019-01-16 15:45:21 · 442 阅读 · 0 评论 -
【elasticsearch】python下的使用
最有用的:http://es.xiaoleilu.com/054_Query_DSL/70_Important_clauses.html不错的博客:http://www.cnblogs.com/letong/p/4749234.html其他1:http://www.jianshu.com/p/14aa8b09c789其他2:http://xiaorui.cc/上面链接有点老了。新链...原创 2018-12-10 17:41:33 · 173 阅读 · 1 评论 -
Sql on Elasticsearch
esqlGit地址https://github.com/unimassystem/esql5 create table my_index.my_table ( id keyword, name text, age long, birthday date);select * from my_index.my_type;selec...原创 2018-12-10 17:06:43 · 218 阅读 · 0 评论 -
Elasticsearch 搜索数据基本用法
深入搜索编辑在 基础入门 中涵盖了基本工具并对它们有足够详细的描述,这让我们能够开始用 Elasticsearch 搜索数据。 用不了多长时间,就会发现我们想要的更多:希望查询匹配更灵活,排名结果更精确,不同问题域下搜索更具体。想要进阶,只知道如何使用 match 查询是不够的,我们需要理解数据以及如何能够搜索到它们。本章会解释如何索引和查询我们的数据让我们能利用词的相似度(word pr...原创 2018-12-10 15:22:26 · 480 阅读 · 0 评论 -
td-agent和elasticsearch、kibana搭建日志平台
系统版本:centos 6.4 x86.64网络环境:我这台机器处于内网,连不了外网,所以要通过代理上服务端:elasticsearch和kibana、Fluentd Aggregator安装在一台机器上 IP为192.168.1.5客户端:192.168.1.6 Mysql Server 192.168.1.7:tomcat Server架构图: 注...原创 2018-12-14 16:05:04 · 1337 阅读 · 1 评论 -
fluentd+mongodb构建分布式日志收集系统
前言: 和同事合作安装过一次fluentd+mongodb,网上文档较少,走了好多弯路,幸亏同事比较给力,能成功应用,现将安装笔记记录一下 。(这里只安装了一台,分布式也是一样的,使用mongodb集群即可)一、 mongodb单机安装1.1 下载解压并安装下载mongodb-linux-x86_64-3.4.6.tgz , 镜像地址 https://www.mongodb.org/...原创 2018-12-14 15:08:42 · 719 阅读 · 0 评论 -
fluentd安装配置简介
fluentd是一个日志收集系统,它的特点在于其各部分均是可定制化的,你可以通过简单的配置,将日志收集到不同的地方。目前开源社区已经贡献了下面一些存储插件:MongoDB, Redis, CouchDB,Amazon S3, Amazon SQS, Scribe, 0MQ, AMQP, Delayed, Growl 等等。项目地址: https://github.com/fluent/flu...原创 2018-12-14 15:03:47 · 760 阅读 · 0 评论 -
映射类型(mapping type)从Elasticsearch中移除
注意:在Elasticsearch6.0.0或者或者更新版本中创建的索引只会包含一个映射类型(mappingtype)。在5.x中创建的具有多个映射类型的索引在Elasticsearch6.x中依然会正常工作。在Elasticsearch7.0.0中,映射类型将会被完全移除。 什么是映射类型?从Elasticsearch的第一个发行版开始,每一个文档都会被存储在一个单独的索引中,并且配...原创 2018-12-14 14:35:11 · 1041 阅读 · 0 评论 -
从零开始搭建K8S--如何监控K8S集群日志
架构选择(ELK VS EFK)ELK我们首先介绍一下传统的日志监控方案。其中,ELK Stack 是我们最熟悉不过的架构。所谓ELK,分别指Elastic公司的Elasticsearch、Logstash、Kibana。在比较旧的ELK架构中,Logstash身兼日志的采集、过滤两职。但由于Logstash基于JVM,性能有一定限制,因此,目前业界更推荐使用Go语言开发FIiebeat代替L...原创 2018-12-05 15:11:09 · 1405 阅读 · 0 评论 -
微服务架构日志集中化 安装 EFK (Fluentd ElasticSearch Kibana) 采集nginx日志
本文描述如何通过FEK组合集中化nginx的访问日志。本人更喜欢按顺序来命名,所以使用FEK而不是EFK.首先在nginx服务器上执行以下操作.安装rubyhttp://blog.csdn.net/chenhaifeng2016/article/details/78678680安装Fluentdcurl -L https://toolbelt.treasuredata.com/s...原创 2018-11-08 16:12:06 · 266 阅读 · 0 评论 -
fluentd,elasticsearch,kibana,kafaka日志收集
概述日志收集框架有很多,logstash,flume,fluentd等等,这里我们使用fluentd我们这里会尝试使用fluentd->elasticsearch->kibana搭建一个日志采集和展示平台也可以使用fluent-plugin-kafka来把把采集的日志发送到kafka,然后在jstorm里对收集到的数据进一步加工处理,最后存入redis,流程为:fluen...原创 2018-11-08 15:57:19 · 1060 阅读 · 0 评论 -
TSV文件与CSV文件的区别
TSV 是Tab-separated values的缩写,即制表符分隔值。相对来说CSV,Comma-separated values(逗号分隔值)更常见一些。TSV与CSV的区别:1)从名称上即可知道,TSV是用制表符(Tab,'\t')作为字段值的分隔符;CSV是用半角逗号(',')作为字段值的分隔符;2)IANA规定的标准TSV格式,字段值之中是不允许出现制表符的。 Pyth...原创 2018-11-08 10:48:07 · 2100 阅读 · 0 评论 -
fluentd学习——tail(输入插件)
tail(输入插件)http://docs.fluentd.org/articles/in_tailtail Input PluginThe in_tail Input plugin allows Fluentd to read events from the tail of text files. Its behavior is similar to the tail -F comm...原创 2018-11-08 10:48:01 · 711 阅读 · 0 评论 -
fluentd 学习笔记
最近为了做一些数据分析,把我自己服务器上所有应用的日志都通过 fluentd 转存到 mongodb 了,第一次用 fluentd,记录一些笔记。因为是初学,绝大部分内容来源于官方文档2,等实际线上使用一段时间后再来更新一些心得。一、Installfluent 比较烦的一点是,从 gem 安装和从 rpm、yum 安装的名字不一样,连配置文件的路径都不一样,需要记住的是:从 gem...原创 2018-11-07 19:25:56 · 694 阅读 · 0 评论 -
Logstash,Fluentd, Logtail比较
摘要: 针对主流日志采集客户端(Logstash,Fluentd,以及日志服务客户端Logtail)进行功能、性能和稳定性测评日志收集的场景DT时代,数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求,而日志从设备采集上云是始于足下的第一步。三款日志收集工具logstash开源界鼎鼎大名ELK st...原创 2018-11-07 16:58:56 · 975 阅读 · 0 评论 -
ELK 性能(1) — Logstash 性能及其替代方案
介绍当谈及集中日志到 Elasticsearch 时,首先想到的日志传输(log shipper)就是 Logstash。开发者听说过它,但是不太清楚它具体是干什么事情的:当深入这个话题时,我们才明白集中存储日志通常隐含着很多的事情,Logstash 也不是唯一的日志传输工具(log shipper)从数据源获取数据:文件、UNIX socket、TCP、UDP 等等 处理:添加时间...原创 2018-11-07 16:50:44 · 1235 阅读 · 0 评论 -
Elasticsearch如何做到亿级数据查询毫秒级返回?
如果面试的时候碰到这样一个面试题:ES 在数据量很大的情况下(数十亿级别)如何提高查询效率?这个问题说白了,就是看你有没有实际用过 ES,因为啥?其实 ES 性能并没有你想象中那么好的。很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下 5~10s,坑爹了。第一次搜索的时候,是 5~10s,后面反而就快了,可能就几百毫秒。你就很懵,每个用户...原创 2019-06-06 17:47:27 · 161 阅读 · 0 评论