BlueSky

找到自己,从现在开始......

排序:
默认
按更新时间
按访问量

Logstash之时区问题的建议和修改

大家在用Logstash收集日志时,发现@timestamp的时间比本地早8个小时,这是正常的,因为这个时间是UTC时间,日志应统一采用这个时间。 原则上建议大家不要修改这个时间戳: [plain] view plain copy 时区问题...

2017-02-16 08:50:40

阅读数:7026

评论数:0

长期运行Kibana

最近在搭建ELK平台,kibana是用tar包直接解压缩使用的方式安装的。但是安装完成后遇到一个问题就是如何让kibana后台运行,并且当断开ssh连接后,还能继续运行。后来想到了nohup命令。 nohup用法: 1 2 3 ...

2016-11-23 14:08:46

阅读数:8912

评论数:0

Elasticsearch-原理

转自:http://www.shaheng.me/blog/2015/06/elasticsearch--.html 一、概念 1.1 官方文档 以下总结自ElasticSearch的官方文档以及自己的一些实践,有兴趣的可以直接阅读官方文档: https://www.el...

2016-07-18 16:03:16

阅读数:6330

评论数:0

ES配置

ES集群内部节点访问,需配置: #network.publish_host为节点之间通信的IP地址network.publish_host: slave1 #discovery.zen.ping.unicast.hosts为节点之间探寻的集群范围discovery.zen.ping.unicas...

2016-07-12 17:31:29

阅读数:417

评论数:0

时间序列数据库的秘密(3)——加载和分布式计算

加载 如何利用索引和主存储,是一种两难的选择。 选择不使用索引,只使用主存储:除非查询的字段就是主存储的排序字段,否则就需要顺序扫描整个主存储。 选择使用索引,然后用找到的row id去主存储加载数据:这样会导致很多碎片化的随机读操作。 没有所谓完美的解决方案。MySQL支持索引,一般索引...

2016-06-27 17:43:39

阅读数:1447

评论数:0

时间序列数据库的秘密(2)——索引

如何快速检索? Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询。倒排索引很多地方都有介绍,但是其比关系型数据库的b-tree索引快在哪里?到底为什么快呢? 笼统的来说,...

2016-06-27 17:42:21

阅读数:1455

评论数:0

时间序列数据库的秘密(1)—— 介绍

什么是时间序列数据?最简单的定义就是数据格式里包含timestamp字段的数据。比如股票市场的价格,环境中的温度,主机的CPU使用率等。但是又有什么数据是不包含timestamp的呢?几乎所有的数据都可以打上一个timestamp字段。时间序列数据更重要的一个属性是如何去查询它。在查询的时候,对于...

2016-06-27 17:40:48

阅读数:7178

评论数:0

Centos下daemontools监控logstash进程

Logstash安装参考http://udn.yyuap.com/doc/logstash-best-practice-cn/get_start/daemon.html 但是使用过程中安装supervisord 遇到了点问题,直接使用yum -y install supervisord --ena...

2016-06-04 17:14:18

阅读数:1541

评论数:0

ElasticSearch的Gateway及存储原理

转自:http://log.medcl.net/item/2010/10/elasticsearch-the-gateway-and-storage/ ES里有一个叫做gateway的东西,今天抽空理一下,前面翻译ES的一篇博文叫做“搜索引擎与时间机器”,既然里面谈到了时间机器,就免不了需要...

2016-05-19 13:12:58

阅读数:2587

评论数:0

Elasticsearch与Solr对比

转自:http://i.zhcy.tk/blog/elasticsearchyu-solr/ 搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用...

2016-05-19 13:10:18

阅读数:486

评论数:0

ElasticSearch之Java Api聚合分组实战

转自:http://qindongliang.iteye.com/blog/2289590#rd 最近有个日志收集监控的项目采用的技术栈是ELK+JAVA+Spring,客户端语言使用的是Java,以后有机会的话可以试一下JavaScript+Nodejs的方式,非常轻量级的组合,只不过不太适合服...

2016-05-11 19:39:33

阅读数:19706

评论数:2

利用正则表达式排除特定字符串

阅读目录 查找不以baidu开头的字符串查找不以com结尾的字符串查找不含有if的行 回到顶部 查找不以baidu开头的字符串 baidu.com sina.com.cn 正则:^(?!baidu).*$  匹配结果就是第2行,也就是第1行被排除了 这里使用了...

2016-04-26 10:16:56

阅读数:358

评论数:0

如何为logstash+elasticsearch配置索引模板?

在使用logstash收集日志的时候,我们一般会使用logstash自带的动态索引模板,虽然无须我们做任何定制操作,就能把我们的日志数据推送到elasticsearch索引集群中,但是在我们查询的时候,就会发现,默认的索引模板常常把我们不需要分词的字段,给分词了,这样以来,我们的比较重要的聚合统计...

2016-04-19 18:15:15

阅读数:11225

评论数:0

Logstash 入门教程 -配置案例

转自:http://corejava2008.iteye.com/blog/2215591 介绍一个详细案例,讲述如何配置读取Apache日志,Syslog并根据自定义条件进行过滤和输出。 手工输入并解析数据 LS中可以通过Filter针对数据进行切片切块等操作,解析,装换,组装...

2016-04-06 19:03:08

阅读数:3731

评论数:0

Elasticsearch 之 query与filter区别

参考官方文档说明如下:https://www.elastic.co/guide/en/elasticsearch/guide/current/_queries_and_filters.html#_performance_differences 主要意思是: fiter是精确查询,对待的文档检索...

2016-01-22 16:48:04

阅读数:5797

评论数:0

Elasticsearch之query与filter

Aggregation聚合 aggregation分为bucket和metric两种,分别作为词元划分和数值计算。其中的bucket aggregation还支持在自身结果的基础上叠加新的aggregation。这就是aggregation领先于facet的地方。比如实现一个时序百分比统计在fac...

2016-01-22 14:00:34

阅读数:1814

评论数:0

elasticsearch学习(二)之Aggregations(聚合)

基本概念  Elasticsearch有一个功能叫做聚合(aggregations),它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。 官方java-api原文  地址:https://www.elastic.co/guide/en/ela...

2015-12-04 20:13:37

阅读数:4299

评论数:0

Elasticsearch java api 基本使用之增、删、改、查

主要参考el的java官方文档:https://www.elastic.co/guide/en/elasticsearch/client/java-api/1.7/generate.html 一篇博客:http://www.cnblogs.com/huangfox/p/3543134.html ...

2015-12-03 19:20:47

阅读数:13360

评论数:1

elasticsearch学习(一)

Elasticsearch与关系型数据库的对比 在Elasticsearch中,文档归属于一种类型(type),而这些类型存在于索引(index)中,我们可以画一些简单的对比图来类比传统关系型数据库: Relational DB -> Databases -> Tables ->...

2015-12-02 21:05:59

阅读数:761

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭