ELK
文章平均质量分 90
ELK
程序员学习圈
值得去的地方,没有捷径;难走的路,才更值得开始!
展开
-
Beats 使用详解
1.Beats是什么? Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent,它可以发送不同类型的数据到elasticsearch中,也可以行将采集完的数据发送到logstash中转,然后在推送到elasticsearch中,目前还在发展中,与成熟的监控系统zabbix和ganglia相比就界面看起来爽了点,系统功能还是有点弱,不过与elasticsear...原创 2019-02-28 19:28:00 · 2507 阅读 · 0 评论 -
Kibana 使用详解
1.Kibana 是什么 Kibana 是一个设计出来用于和 Elasticsearch 一起使用的开源的分析与可视化平台,可以用 kibana 搜索、查看、交互存放在Elasticsearch 索引里的数据,使用各种不同的图表、表格、地图等展示高级数据分析与可视化,基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘,让大量数据变得简单,容易理解。...原创 2019-02-28 19:06:18 · 1196 阅读 · 0 评论 -
logstash 使用详解
1.安装logstash [luomk@iz2zeb7o9hu1q5dxvshng4z module]$ tar -zxvf logstash-6.3.1.tar.gz [luomk@iz2zeb7o9hu1q5dxvshng4z module]$cd config [luomk@iz2zeb7o9hu1q5dxvshng4z module]$vi log4j_t...原创 2019-02-28 17:16:01 · 1271 阅读 · 0 评论 -
Elasticsearch-FAQ
1.document的全量替换、强制创建以及lazy delete机制 • 如果document的id不存在,那么就是创建,如果以及存在,那么就是全量创建 • 如果你不想做替换操作,而是希望做创建操作,那么可以指定命令为创建(即强制创建操作) 语法:两种语法 1)PUT /index/type/id?op_type=create 2...原创 2019-02-28 16:28:00 · 392 阅读 · 0 评论 -
Elasticsearch 索引分词器
1. 认识分词器1.1 Analyzer分析器 在ES中一个Analyzer 由下面三种组件组合而成: • character filter :字符过滤器,对文本进行字符过滤处理,如处理文本中的html标签字符。处理完后再交给tokenizer进行分词。一个analyzer中可包含0个或多个字符过滤器,多个按配置顺序依次进行处理。 • tokenizer:分...原创 2019-02-28 14:16:50 · 1273 阅读 · 0 评论 -
Elasticsearch 集群管理
一、集群规划 搭建一个集群我们需要考虑如下几个问题: • 我们需要多大规模的集群? • 集群中的节点角色如何分配? • 如何避免脑裂问题? • 索引应该设置多少个分片? • 分片应该设置几个副本? 下面我们就来分析和回答这几个问题1、我们需要多大规模的集群?需要从以下两个方面考虑:1.1 当前的数据量有多大?数...原创 2019-02-28 13:06:00 · 199 阅读 · 0 评论 -
Elasticsearch 架构详解
1.架构原理 本节作为 Elastic Stack 指南,关注于 Elasticsearch 在日志和数据分析场景的应用,并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍,但是 Elasticsearch 层面上的一些架构设计,对我们做性能调优,故障处理,具有非常重要的影响。 所以,作为 ES 部分的起始章节,先从数据流向和分布的层面,介绍一下 ES 的工作...转载 2019-02-28 12:05:08 · 549 阅读 · 0 评论 -
Elasticsearch 正/倒排索引与分词详解
1.正排索引和倒排索引简介 对于搜索引擎来讲。 正排索引是文档 Id 到文档内容、单词的关联关系,也就是说可以通过 Id获取到文档的内容。 倒排索引是单词到文档 Id 的关联关系,也就是说了一通过单词搜索到文档 Id。 倒排索引的查询流程是:首先根据关键字搜索到对应的文档 Id,然后根据正排索引查询文档 Id 的完整内容,最后返回给用户想要的结果。...原创 2019-02-28 11:02:31 · 650 阅读 · 0 评论 -
Elasticsearch 相关度评分TF&IDF算法揭秘
1.算法介绍 relevance score算法,简单来说,就是计算出,一个索引中的文本,与搜索的文本,他们之间的关联匹配程序 ElasticSearch使用的是term frequency/inverse document frequency算法,简称TF/IDF算法 Term frequency,搜索文本中的各个词条在field文本中出现了多少次,出现次数越多,就...原创 2019-02-27 19:22:27 · 946 阅读 · 0 评论 -
Elasticsearch之mapping 详解
1.数据准备 首先插入几条数据,让es自动为我们建立一个索引PUT /website/article/1{ "post_date": "2017-01-01", "title": "my first article", "content": "this is my first article in this website", "author_id&q原创 2019-02-27 18:39:51 · 356 阅读 · 0 评论 -
Elasticsearch之document id 手动指定和自动生成两种解析
根据应用情况来说,是否满足是否指定document id的手动指定,一般情况,是从某些其他的系统中,导入一些数据到es时,会采用这种方式,就是使用系统中已有数据的唯一标识,作为es中document的id,举个例子,比如说我们现在在开发一个电商网站,做搜索功能,或者oa系统的员工查询,这个时候,数据首先会在网站的系统中的数据库中,会先有一份,此时就肯定会有一个数据库的primary key...原创 2019-02-27 17:08:18 · 1670 阅读 · 0 评论 -
Elasticsearch 集成 SpringBoot并进行CRUD操作
今天给我们一起来学习下SpringBoot如何集成Elasticsearch,并简单的介绍一下基于SpringBoot模式下怎么进行简单的增删改查操作,这边增删改查操作有点类似于JPA的模式。 废话不多说,现在马上开始我们今天的内容。首先新建Springboot项目,然后在进行如下操作:1.首先是引入相关的依赖,下面是我的pom文件。<?xml versio...原创 2019-02-27 15:55:00 · 401 阅读 · 0 评论 -
Elasticsearch 聚合查询
1.聚合与搜索的概念 通俗的说:搜索是查找某些具体的文档.然而聚合就是对这些搜索到的文档进行统计。2.高阶概念 Buckets(桶/集合):满足特定条件的文档的集合 Metrics(指标):对桶内的文档进行统计计算(例如最小值,求和,最大值等).3.举例说明—关于汽车数据的相关聚合(Index=cars;type=transactions)3....原创 2019-02-27 14:26:00 · 229 阅读 · 0 评论 -
Elasticsearch 搜索查询
1. query string search(搜索全部信息)1.1 GET elasticsearch/student/_search 返回:{ "took": 4, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped...原创 2019-02-27 10:18:00 · 364 阅读 · 0 评论 -
Elasticsearch 文档操作
1.elasticserach API 操作 • elasticsearch rest api遵循的格式为:curl -X<REST Verb> <Node>:<Port>/<Index>/<Type>/<ID> • 检查es版本信息:http://IP:9200 • 查看集群是否健康:http:...原创 2019-02-26 19:00:00 · 186 阅读 · 0 评论 -
Elasticsearch 安装配置
1.简介 Elasticsearch是一个开源免费,用Java开发的,基于Lucene框架的,提供RESTful web接口的、分布式多用户能力的,实时的分布式搜索分析引擎。简单高效,开箱即用。 2.安装 在安装ElasticSearch 之前,我们需要先安装一个java,为什么呢?因为ElasticSearch 是java语言开发的。 这里要提醒一下,ela...原创 2019-02-26 17:25:58 · 343 阅读 · 0 评论 -
Elasticsearch 简单介绍
1.Elasticsearc 是什么 Elasticsearch是一个基于Lucene构建的开源、实时、分布式、RESTful接口的全文搜索引擎和分析引擎。Elasticsearch还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,Elasticsearch能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。...原创 2019-02-26 15:59:38 · 349 阅读 · 0 评论 -
ELK 整体概述
1.为什么用到ELK: 一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。 一般大型系统是一个分布式部署...原创 2019-02-26 14:27:59 · 379 阅读 · 0 评论 -
SolrCloud 集群详解
1. 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。 SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。 它有几个特色功能: ① 集中原创 2017-11-02 19:21:01 · 554 阅读 · 0 评论 -
SolrJ 管理索引库
1.什么是solrJ solrj是访问Solr服务的java客户端,提供索引和搜索的请求方法,SolrJ通常在嵌入在业务系统中,通过SolrJ的API接口操作Solr服务3.添加文档(1) 实现步骤 第一步:创建一个java工程 第二步:导入jar包。包括solrJ的jar包。还需要 第三步:和Solr服务器建立连接。HttpSolrServer对象建立连接。 第四步:创建一个SolrInputDocument对象,然后添加域。 第五步:将So原创 2017-11-02 17:36:18 · 385 阅读 · 0 评论 -
Solr 管理索引库
1.添加/更新文档2.批量导入数据 使用dataimport插件批量导入数据。 第一步:把dataimport插件依赖的jar包添加到solrcore(collection1\lib)中 第二步:配置solrconfig.xml文件,添加一个requestHandler。 <requestHandler name="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler"> <原创 2017-11-02 14:12:58 · 405 阅读 · 0 评论 -
Solr 基本介绍 安装和配置
1.需求分析 在一些大型门户网站、电子商务网站等都需要站内搜索功能,使用传统的数据库查询方式实现搜索无法满足一些高级的搜索需求,比如:搜索速度要快、搜索结果按相关度排序、搜索内容格式不固定等,这里就需要使用全文检索技术实现搜索功能。(1) 使用Lucene实现 单独使用Lucene实现站内搜索需要开发的工作量较大,主要表现在:索引维护、索引性能优化、搜索性能优化等,因此不建议采用。(2) 使用solr实现 基于Solr实现站内搜索扩展性较好并且可以减少程序员的工作量,因为S原创 2017-11-02 12:28:47 · 406 阅读 · 0 评论 -
Lucene 代码详解
1.配置开发环境1.1 Lucene下载 Lucene是开发全文检索功能的工具包,从官方网站下载Lucene4.10.3,并解压。 官方网站:http://lucene.apache.org/ 版本:lucene4.10.3 Jdk要求:1.7以上 IDE:Eclipse1.2 使用的jar包Lucene包:lucene...原创 2017-11-02 11:13:44 · 9156 阅读 · 0 评论 -
Lucene 理论详解
1.lucene简介1.1 什么是lucene Lucene是一个全文搜索框架,而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用,它只是提供了一种工具让你能实现这些产品。1.2 lucene的工作方式 lucene提供的服务实际包含两部分:一入一出。所谓入是写入,即将你提供的源(本质是字符串)写入索引或者将其从索引...原创 2017-11-01 18:33:05 · 553 阅读 · 0 评论