![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ELK
文章平均质量分 72
Running_Tiger
这个作者很懒,什么都没留下…
展开
-
实时日志分析ELK概述
实时日志分析ELK概述1、概述对于任何系统来说日志都是及其重要的组成部分。但是由于现在的计算机系统大多比较复杂,很多系统都不是在一个地方,甚至都是跨国界的;即使是在一个地方的系统,也有不同的来源,比如,操作系统,应用服务,业务逻辑等等。他们都在不停产生各种各样的日志数据。根据不完全统计,我们全球每天大约要产生2EB的数据。面对如此海量的数据,又是分布在各个不同地方,如果我们需要去查找一些重要的信息,原创 2018-03-17 16:56:58 · 491 阅读 · 0 评论 -
深入理解ElasticSearch(七)执行分布式检索
执行分布式检索 一个 CRUD 操作只对单个文档进行处理,文档的唯一性由 _index, _type, 和 routing values (通常默认是该文档的 _id )的组合来确定。 这表示我们确切的知道集群中哪个分片含有此文档。 搜索需要一种更加复杂的执行模型因为我们不知道查询会命中哪些文档: 这些文档有可能在集群的任何分片上。 一个搜索请求必须询问我们关注的索引(index or ind...原创 2018-03-19 18:30:57 · 1241 阅读 · 0 评论 -
深入理解ElasticSearch(六)排序与相关性
排序与相关性默认情况下,返回的结果是按照 相关性 进行排序的——最相关的文档排在最前。 在本章的后面部分,我们会解释 相关性 意味着什么以及它是如何计算的, 不过让我们首先看看 sort 参数以及如何使用它。1、排序为了按照相关性来排序,需要将相关性表示为一个数值。在 Elasticsearch 中, 相关性得分 由一个浮点数进行表示,并在搜索结果中通过 _score 参数返回, 默认排序是 _sc原创 2018-03-19 15:34:37 · 5161 阅读 · 0 评论 -
深入理解ElasticSearch(五)请求体查询
请求体查询简易 查询 —query-string search— 对于用命令行进行点对点(ad-hoc)查询是非常有用的。 然而,为了充分利用查询的强大功能,你应该使用 请求体 search API, 之所以称之为请求体查询(Full-Body Search),因为大部分参数是通过 Http 请求体而非查询字符串来传递的。请求体查询 —下文简称 查询—不仅可以处理自身的查询请求,还允许你对结果进行片原创 2018-03-19 14:28:51 · 384 阅读 · 0 评论 -
深入理解ElasticSearch(四)映射和分析
映射和分析当做索引里面的数据时,发现一些奇怪的事情。一些事情看起来被打乱了:在我们的索引中有12条推文,其中只有一条包含日期 2014-09-15 ,但是看一看下面查询命中的 总数 (total):GET /_search?q=2014 # 12 results GET /_search?q=2014-09-15 # 12 results ! GET /_se原创 2018-03-19 14:04:34 · 815 阅读 · 0 评论 -
深入理解ElasticSearch(三)搜索
搜索 测试数据可以在这里查看 https://gist.github.com/clintongormley/8579281 1、空搜索 搜索API的最基础的形式是没有指定任何查询的空搜索 ,它简单地返回集群中所有索引下的所有文档: GET /_search 返回的结果(为了界面简洁编辑过的)像这样: { "hits" : { "total" : ...原创 2018-03-18 00:02:03 · 496 阅读 · 0 评论 -
深入理解ElasticSearch(二)索引
索引 1、建立一个员工目录 假设我们刚好在Megacorp工作,这时人力资源部门出于某种目的需要让我们创建一个员工目录,这个目录用于促进人文关怀和用于实时协同工作,所以它有以下不同的需求: 数据能够包含多个值的标签、数字和纯文本。 检索任何员工的所有信息。 支持结构化搜索,例如查找30岁以上的员工。 支持简单的全文搜索和更复杂的短语(phrase)搜索 高亮搜索结果中的关键字 能够利用...原创 2018-03-18 00:01:47 · 365 阅读 · 0 评论 -
深入理解ElasticSearch(一)API
深入理解ElasticSearch(一)API 1、Java API Elasticsearch为Java用户提供了两种内置客户端: 1、节点客户端(node client): 节点客户端以无数据节点(none data node)身份加入集群,换言之,它自己不存储任何数据, 但是它知道数据在集群中的具体位置,并且能够直接转发请求到对应的节点上。 2、传输客户端(Transport...原创 2018-03-18 00:01:40 · 615 阅读 · 0 评论 -
Logstash插件介绍
Logstash插件介绍 在生产环境中,Logstash 的管道要复杂很多,可能需要配置多个输入、过滤器和输出插件。因此,需要一个配置文件管理输入、过滤器和输出相关的配置。配置文件内容格式如下: # 输入 input { ... } # 过滤器 filter { ... } # 输出 output { ... } 根据自己的需求在对应的位置配置输入插件、过滤器插件、...原创 2018-03-18 00:01:30 · 423 阅读 · 0 评论 -
Logstash安装部署
Logstash安装部署 1、下载安装包 访问elasticSearch官网地址 https://www.elastic.co/ 下载指定版本的安装包:kibana-6.1.1-linux-x86_64.tar.gz 2、规划安装目录 /export/servers/ 3、上传安装包到指定目录 通过FTP工具上传安装包到指定目录 4、解压安装包 tar -...原创 2018-03-18 00:01:21 · 228 阅读 · 0 评论 -
Logstash架构
Logstash架构 1、Logstash概念 Logstash 是一个开源的数据收集引擎,它具有备实时数据传输能力。它可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。 Logstash 收集数据对象就是日志文件。由于日志文件来源多(如:系统日志、服务器 日志等),且内容杂乱,不便于人类进行观察。因此,可以使用 Logstash 对日志文件进行收集和统一过滤,变成可读...原创 2018-03-18 00:01:15 · 1637 阅读 · 0 评论 -
kibana安装部署
kibana安装部署 1、kibana概念 Kibana 是一个开源的分析和可视化平台,旨在与 Elasticsearch 合作。Kibana 提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析,并在各种图表、表格和地图中可视化数据。 2、kibana安装部署 2.1、下载安装包 访问elasticSe...原创 2018-03-18 00:01:02 · 389 阅读 · 0 评论 -
ElasticSearch 使用Java Api访问集群
ElasticSearch 使用Java Api访问集群 1、创建maven工程导入pom依赖 <dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>...原创 2018-03-18 00:00:55 · 1126 阅读 · 0 评论 -
ElasticSearch 使用原生方式创建索引
ElasticSearch 使用原生方式创建索引 1、访问ES 在浏览器中,访问以下地址:http://node-1:9200?pretty 注意:在任意的查询字符串中增加pretty参数,会让Elasticsearch美化输出(pretty-print)JSON响应以便更加容易阅读。 2、使用 Xput创建索引 说明: RESTful接口URL的格式: http:/...原创 2018-03-18 00:00:45 · 2202 阅读 · 0 评论 -
ElasticSearch基本概念
ElasticSearch基本概念Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时(NRT) Elasticsearch是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。 集群(cluster) 一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能。原创 2018-03-17 18:30:50 · 186 阅读 · 0 评论 -
ElasticSearch安装部署
ElasticSearch安装部署 参考文档 ELK官网:https://www.elastic.co/ ELK官网文档:https://www.elastic.co/guide/index.html ELK中文手册: https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html ELK中文社区:https...原创 2018-03-17 17:44:12 · 6115 阅读 · 1 评论 -
ElasticSearch简介
ElasticSearch简介1、ElasticSearch概念ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。Elastic原创 2018-03-17 17:01:48 · 230 阅读 · 0 评论 -
深入理解ElasticSearch(八)索引管理
索引管理1、创建一个索引到目前为止, 我们已经通过索引一篇文档创建了一个新的索引 。这个索引采用的是默认的配置,新的字段通过动态映射的方式被添加到类型映射。现在我们需要对这个建立索引的过程做更多的控制:我们想要确保这个索引有数量适中的主分片,并且在我们索引任何数据 之前 ,分析器和映射已经被建立好。为了达到这个目的,我们需要手动创建索引,在请求体里面传入设置或类型映射,如下所示:PUT /my_in原创 2018-03-20 00:27:56 · 1854 阅读 · 0 评论