ElasticSearch学习笔记(01)

问题一、ElasticSearch是什么?有什么用处? 答:截至2018年12月28日,从ElasticSearch官网(https://www.elastic.co/cn/products)上,得知:ElasticSearch是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可靠性...

2019-01-16 15:45:21

阅读数 110

评论数 0

td-agent和elasticsearch、kibana搭建日志平台

系统版本:centos 6.4 x86.64 网络环境:我这台机器处于内网,连不了外网,所以要通过代理上 服务端:elasticsearch和kibana、Fluentd Aggregator安装在一台机器上 IP为192.168.1.5 客户端:192.168.1.6 Mysql Serv...

2018-12-14 16:05:04

阅读数 163

评论数 1

fluentd+mongodb构建分布式日志收集系统

前言:  和同事合作安装过一次fluentd+mongodb,网上文档较少,走了好多弯路,幸亏同事比较给力,能成功应用,现将安装笔记记录一下  。(这里只安装了一台,分布式也是一样的,使用mongodb集群即可) 一、 mongodb单机安装 1.1 下载解压并安装 下载mongodb-linu...

2018-12-14 15:08:42

阅读数 57

评论数 0

fluentd安装配置简介

fluentd是一个日志收集系统,它的特点在于其各部分均是可定制化的,你可以通过简单的配置,将日志收集到不同的地方。 目前开源社区已经贡献了下面一些存储插件:MongoDB, Redis, CouchDB,Amazon S3, Amazon SQS, Scribe, 0MQ, AMQP, Del...

2018-12-14 15:03:47

阅读数 67

评论数 0

映射类型(mapping type)从Elasticsearch中移除

注意:在Elasticsearch6.0.0或者或者更新版本中创建的索引只会包含一个映射类型(mappingtype)。在5.x中创建的具有多个映射类型的索引在Elasticsearch6.x中依然会正常工作。在Elasticsearch7.0.0中,映射类型将会被完全移除。   什么是映射类...

2018-12-14 14:35:11

阅读数 82

评论数 0

【elasticsearch】python下的使用

最有用的:http://es.xiaoleilu.com/054_Query_DSL/70_Important_clauses.html 不错的博客:http://www.cnblogs.com/letong/p/4749234.html 其他1:http://www.jianshu.com/...

2018-12-10 17:41:33

阅读数 55

评论数 0

Sql on Elasticsearch

esqlGit地址https://github.com/unimassystem/esql5      create table my_index.my_table ( id keyword, name text, age long, birth...

2018-12-10 17:06:43

阅读数 48

评论数 0

Elasticsearch 搜索数据基本用法

深入搜索编辑 在 基础入门 中涵盖了基本工具并对它们有足够详细的描述,这让我们能够开始用 Elasticsearch 搜索数据。 用不了多长时间,就会发现我们想要的更多:希望查询匹配更灵活,排名结果更精确,不同问题域下搜索更具体。 想要进阶,只知道如何使用 match 查询是不够的,我们需要理...

2018-12-10 15:22:26

阅读数 57

评论数 0

从零开始搭建K8S--如何监控K8S集群日志

架构选择(ELK VS EFK) ELK 我们首先介绍一下传统的日志监控方案。其中,ELK Stack 是我们最熟悉不过的架构。所谓ELK,分别指Elastic公司的Elasticsearch、Logstash、Kibana。在比较旧的ELK架构中,Logstash身兼日志的采集、过滤两职。但由于...

2018-12-05 15:11:09

阅读数 335

评论数 0

微服务架构日志集中化 安装 EFK (Fluentd ElasticSearch Kibana) 采集nginx日志

本文描述如何通过FEK组合集中化nginx的访问日志。本人更喜欢按顺序来命名,所以使用FEK而不是EFK. 首先在nginx服务器上执行以下操作. 安装ruby http://blog.csdn.net/chenhaifeng2016/article/details/78678680 安装...

2018-11-08 16:12:06

阅读数 102

评论数 0

fluentd,elasticsearch,kibana,kafaka日志收集

概述 日志收集框架有很多,logstash,flume,fluentd等等,这里我们使用fluentd 我们这里会尝试使用fluentd->elasticsearch->kibana搭建一个日志采集和展示平台 也可以使用fluent-plugin-ka...

2018-11-08 15:57:19

阅读数 138

评论数 0

TSV文件与CSV文件的区别

TSV 是Tab-separated values的缩写,即制表符分隔值。 相对来说CSV,Comma-separated values(逗号分隔值)更常见一些。 TSV与CSV的区别: 1)从名称上即可知道,TSV是用制表符(Tab,'\t')作为字段值的分隔符;CSV是用半角逗号(',')...

2018-11-08 10:48:07

阅读数 170

评论数 0

fluentd学习——tail(输入插件)

tail(输入插件) http://docs.fluentd.org/articles/in_tail tail Input Plugin The in_tail Input plugin allows Fluentd to read events from the tail of text...

2018-11-08 10:48:01

阅读数 69

评论数 0

fluentd 学习笔记

最近为了做一些数据分析,把我自己服务器上所有应用的日志都通过 fluentd 转存到 mongodb 了,第一次用 fluentd,记录一些笔记。 因为是初学,绝大部分内容来源于官方文档2,等实际线上使用一段时间后再来更新一些心得。 一、Install fluent 比较烦的一点是,从 ge...

2018-11-07 19:25:56

阅读数 41

评论数 0

Logstash,Fluentd, Logtail比较

摘要: 针对主流日志采集客户端(Logstash,Fluentd,以及日志服务客户端Logtail)进行功能、性能和稳定性测评 日志收集的场景 DT时代,数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。 中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求,而日志从设备...

2018-11-07 16:58:56

阅读数 362

评论数 0

ELK 性能(1) — Logstash 性能及其替代方案

介绍 当谈及集中日志到 Elasticsearch 时,首先想到的日志传输(log shipper)就是 Logstash。开发者听说过它,但是不太清楚它具体是干什么事情的: 当深入这个话题时,我们才明白集中存储日志通常隐含着很多的事情,Logstash 也不是唯一的日志传输工具(log sh...

2018-11-07 16:50:44

阅读数 101

评论数 0

通过 elasticsearch-sql 使用 SQL 语句聚合查询 Elasticsearch 获取各种 buckets 桶

Elasticsearch 的 buckets(桶)包含 Histogram、Date Histogram、Range、Date Range、Terms、IPv4 Range、Significant Terms 等; 1.Histogram: SELECT * FROM INDEX-2017-...

2018-11-07 14:18:42

阅读数 86

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭