Elasticsearch
文章平均质量分 77
ASIA_kobe
To be Best!
展开
-
Elasticsearch java api 基本使用之增、删、改、查
主要参考el的java官方文档:https://www.elastic.co/guide/en/elasticsearch/client/java-api/1.7/generate.html一篇博客:http://www.cnblogs.com/huangfox/p/3543134.htmlElasticsearch官方指南:http://es.xiaoleilu.com/010_Intr原创 2015-12-03 19:20:47 · 14645 阅读 · 1 评论 -
Logstash之时区问题的建议和修改
大家在用Logstash收集日志时,发现@timestamp的时间比本地早8个小时,这是正常的,因为这个时间是UTC时间,日志应统一采用这个时间。原则上建议大家不要修改这个时间戳:[plain] view plain copy时区问题的解释 很多中国用户经常提一个问题:为什么 @timestamp 比我们早了 8 个小时转载 2017-02-16 08:50:40 · 10531 阅读 · 0 评论 -
长期运行Kibana
最近在搭建ELK平台,kibana是用tar包直接解压缩使用的方式安装的。但是安装完成后遇到一个问题就是如何让kibana后台运行,并且当断开ssh连接后,还能继续运行。后来想到了nohup命令。nohup用法:1 2 3 4 5 6 7 root@localhost:~ # m原创 2016-11-23 14:08:46 · 11204 阅读 · 0 评论 -
Elasticsearch-原理
转自:http://www.shaheng.me/blog/2015/06/elasticsearch--.html一、概念1.1 官方文档以下总结自ElasticSearch的官方文档以及自己的一些实践,有兴趣的可以直接阅读官方文档: https://www.elastic.co/guide/en/elasticsearch/gui转载 2016-07-18 16:03:16 · 7614 阅读 · 0 评论 -
ES配置
ES集群内部节点访问,需配置:#network.publish_host为节点之间通信的IP地址network.publish_host: slave1#discovery.zen.ping.unicast.hosts为节点之间探寻的集群范围discovery.zen.ping.unicast.hosts: ["master","slave1", "slave2"]一般内部配置成内网原创 2016-07-12 17:31:29 · 698 阅读 · 0 评论 -
Centos下daemontools监控logstash进程
Logstash安装参考http://udn.yyuap.com/doc/logstash-best-practice-cn/get_start/daemon.html但是使用过程中安装supervisord 遇到了点问题,直接使用yum -y install supervisord --enablerepo=epel会报错:Error getting repository data for原创 2016-06-04 17:14:18 · 2374 阅读 · 0 评论 -
时间序列数据库的秘密(1)—— 介绍
什么是时间序列数据?最简单的定义就是数据格式里包含timestamp字段的数据。比如股票市场的价格,环境中的温度,主机的CPU使用率等。但是又有什么数据是不包含timestamp的呢?几乎所有的数据都可以打上一个timestamp字段。时间序列数据更重要的一个属性是如何去查询它。在查询的时候,对于时间序列我们总是会带上一个时间范围去过滤数据。同时查询的结果里也总是会包含timestamp字段。转载 2016-06-27 17:40:48 · 8701 阅读 · 0 评论 -
时间序列数据库的秘密(3)——加载和分布式计算
加载如何利用索引和主存储,是一种两难的选择。选择不使用索引,只使用主存储:除非查询的字段就是主存储的排序字段,否则就需要顺序扫描整个主存储。选择使用索引,然后用找到的row id去主存储加载数据:这样会导致很多碎片化的随机读操作。没有所谓完美的解决方案。MySQL支持索引,一般索引检索出来的行数也就是在1~100条之间。如果索引检索出来很多行,很有可能MySQL会选转载 2016-06-27 17:43:39 · 2048 阅读 · 0 评论 -
时间序列数据库的秘密(2)——索引
如何快速检索?Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询。倒排索引很多地方都有介绍,但是其比关系型数据库的b-tree索引快在哪里?到底为什么快呢?笼统的来说,b-tree索引是为写入优化的索引结构。当我们不需要支持快速的更新的时候,可以用预先排序等方式转载 2016-06-27 17:42:21 · 2473 阅读 · 0 评论 -
ElasticSearch的Gateway及存储原理
转自:http://log.medcl.net/item/2010/10/elasticsearch-the-gateway-and-storage/ES里有一个叫做gateway的东西,今天抽空理一下,前面翻译ES的一篇博文叫做“搜索引擎与时间机器”,既然里面谈到了时间机器,就免不了需要穿越时空的的门咯,I guess,也许gateway这名字就是这么来的,其实在ES里面,gatew转载 2016-05-19 13:12:58 · 38337 阅读 · 0 评论 -
Elasticsearch与Solr对比
转自:http://i.zhcy.tk/blog/elasticsearchyu-solr/搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合。Elasticsearch是一个转载 2016-05-19 13:10:18 · 951 阅读 · 1 评论 -
如何为logstash+elasticsearch配置索引模板?
在使用logstash收集日志的时候,我们一般会使用logstash自带的动态索引模板,虽然无须我们做任何定制操作,就能把我们的日志数据推送到elasticsearch索引集群中,但是在我们查询的时候,就会发现,默认的索引模板常常把我们不需要分词的字段,给分词了,这样以来,我们的比较重要的聚合统计就不准确了: 举个例子,假如有10台需要的监控的机器,他们的机器名如下: Ja转载 2016-04-19 18:15:15 · 14044 阅读 · 0 评论 -
利用正则表达式排除特定字符串
阅读目录查找不以baidu开头的字符串查找不以com结尾的字符串查找不含有if的行回到顶部查找不以baidu开头的字符串baidu.comsina.com.cn正则:^(?!baidu).*$ 匹配结果就是第2行,也就是第1行被排除了这里使用了零宽度断言(?!exp),注意,我们有一个向前查找的语法(也叫顺序环视) (?=exp)(?=e转载 2016-04-26 10:16:56 · 632 阅读 · 0 评论 -
Logstash 入门教程 -配置案例
转自:http://corejava2008.iteye.com/blog/2215591介绍一个详细案例,讲述如何配置读取Apache日志,Syslog并根据自定义条件进行过滤和输出。手工输入并解析数据LS中可以通过Filter针对数据进行切片切块等操作,解析,装换,组装等等。。Java代码 input { stdin { } } #控制台输转载 2016-04-06 19:03:08 · 4667 阅读 · 0 评论 -
Elasticsearch之query与filter
Aggregation聚合aggregation分为bucket和metric两种,分别作为词元划分和数值计算。其中的bucket aggregation还支持在自身结果的基础上叠加新的aggregation。这就是aggregation领先于facet的地方。比如实现一个时序百分比统计在facet接口无法直接完成,在aggregation接口就很简单。query与filter1、区别原创 2016-01-22 14:00:34 · 2269 阅读 · 0 评论 -
elasticsearch学习(二)之Aggregations(聚合)
基本概念 Elasticsearch有一个功能叫做聚合(aggregations),它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。官方java-api原文 地址:https://www.elastic.co/guide/en/elasticsearch/client/java-api/1.7/java-aggs.htmlTh原创 2015-12-04 20:13:37 · 5023 阅读 · 0 评论 -
elasticsearch学习(一)
Elasticsearch与关系型数据库的对比在Elasticsearch中,文档归属于一种类型(type),而这些类型存在于索引(index)中,我们可以画一些简单的对比图来类比传统关系型数据库:Relational DB -> Databases -> Tables -> Rows -> ColumnsElasticsearch -> Indices -> Types ->原创 2015-12-02 21:05:59 · 1017 阅读 · 0 评论 -
Elasticsearch 之 query与filter区别
参考官方文档说明如下:https://www.elastic.co/guide/en/elasticsearch/guide/current/_queries_and_filters.html#_performance_differences主要意思是:fiter是精确查询,对待的文档检索的结果是 是/否 ;query对应文档检索是对文档相关性评分。表现(性能Performance)区原创 2016-01-22 16:48:04 · 8795 阅读 · 0 评论 -
ElasticSearch之Java Api聚合分组实战
转自:http://qindongliang.iteye.com/blog/2289590#rd最近有个日志收集监控的项目采用的技术栈是ELK+JAVA+Spring,客户端语言使用的是Java,以后有机会的话可以试一下JavaScript+Nodejs的方式,非常轻量级的组合,只不过不太适合服务化的工程,Kibana充当可视化层,功能虽然非常强大和灵活,但是需要业务人员懂Lucene的查询语原创 2016-05-11 19:39:33 · 21834 阅读 · 2 评论