Elasticsearch
Elasticsearch
杨林伟
像火箭科学家一样思考!
展开
-
分布式系列教程(42) -ELK配置与使用
引言在前面的博客中,我们知道在Linux下如何搭建ELK(ElasticSearch+Logstash+Kibana)以及它们的使用,如有兴趣的同学,可以参考下。安装教程:《分布式系列教程(27) -Linux环境下安装Elasticsearch》《分布式系列教程(37) -Linux下搭建ElasticSearch集群》《分布式系列教程(28) -Linux环境安装Kibana》《...原创 2019-12-19 19:32:02 · 553 阅读 · 1 评论 -
分布式系列教程(41) -Logtash的简单使用
引言在上一篇博客《分布式系列教程(40) -Linux下安装Logstash》,我们知道了Logstash的安装步骤,本文就来详细讲解Logstash的使用。下面来讲解一个简单的案例。Logstash以JSON的格式输出ES的日志在ElasticSearch日志目录文件夹下(/usr/local/elasticsearch-6.4.3/logs),可以看到各种es的日志文件:其中上图的...原创 2019-12-19 17:41:47 · 575 阅读 · 0 评论 -
分布式系列教程(40) -Linux下安装Logstash
Logstash安装很简单,下面直接写过程:1.上传logstash安装包2.解压tar -zxvf logstash-6.4.3.tar.gz 3.启动logstash:cd /usr/local/logstash-6.4.3/bin/./logstash -f ../config/myconfig.conf启动的时候可以指定配置文件,具体的配置规则在自定义的文件myconf...原创 2019-12-19 17:01:00 · 492 阅读 · 0 评论 -
分布式系列教程(39) -分布式日志采集系统ELK
引言在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常底下。通常,日志被分散在储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。...原创 2019-12-19 16:29:41 · 554 阅读 · 0 评论 -
分布式系列教程(38) -SpringBoot基于ES的网盘应用
1. 引言项目以提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/SpringBoot-ES-NetDisk-Demo网盘搜索原理图:本文主要做一个迷你版的网盘操作,具体的爬虫获取数据功能就不做了,主要做网盘搜索的功能,演示效果如下:搜索之后2. SpringBoot基于ES的网盘应用开发2.1 数据准备1.定义文档...原创 2019-12-19 15:40:05 · 634 阅读 · 0 评论 -
分布式系列教程(37) -Linux下搭建ElasticSearch集群
引言在上一篇博客《分布式系列教程(36) -ElasticSearch集群原理》,主要讲解了ElasticSearch集群的原理。本文开始实践,在Linux下搭建ElasticSearch集群。Linux下搭建ElasticSearch集群1.首先准备三台服务器:服务器名称IP地址node-1192.168.212.184node-2192.168.212.1...原创 2019-12-19 11:46:01 · 485 阅读 · 0 评论 -
分布式系列教程(36) -ElasticSearch集群原理
1.引言ES是一个分布式全文检索框架,隐藏了复杂的处理机制,核心内容分片机制、集群发现、分片负载均衡请求路由。1.1 ES基本概念名词Cluster:代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任...原创 2019-12-19 11:22:38 · 1199 阅读 · 0 评论 -
分布式系列教程(35) -ElasticSearch文档映射
1. 文档映射已经把ElasticSearch的核心概念和关系数据库做了一个对比,索引(index)相当于数据库,类型(type)相当于数据表,映射(Mapping)相当于数据表的表结构。关系型数据库ElasticSearch数据库(DB)索引(Index)表(Table)类型(type)行(Row)文档(Docments)列(Columns)字段...原创 2019-12-18 19:52:32 · 473 阅读 · 0 评论 -
分布式系列教程(34) -Linux下安装ik分词器
因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好,会将中文词语拆分成一个一个中文的汉字,因此引入中文分词器-es-ik插件。本文来讲解下再Linux下安装ik分词器。1. 首先下载ik分词器下载地址: https://github.com/medcl/elasticsearch-analysis-ik/releases注意:es-ik分词插件版本一定要和es安装...原创 2019-12-18 17:51:52 · 1303 阅读 · 0 评论 -
分布式系列教程(33) -ElasticSearch DSL语言查询与过滤
ES中的查询请求有两种方式,一种是简易版的查询,另外一种是使用JSON完整的请求体,叫做结构化查询(DSL)。由于DSL查询更为直观也更为简易,所以大都使用这种方式。DSL查询是POST过去一个JSON,由于POST的请求是JSON格式的,所以存在很多灵活性,也有很多形式。下面来举些例子:1. 根据名称精准查询姓名GET user_dao/user/_search{ "query":...原创 2019-12-18 17:14:44 · 565 阅读 · 0 评论 -
分布式系列教程(32) -ElasticSearch条件查询
ElasticSearch可以执行复杂的条件查询,下面直接举例子:首先先添加文档:PUT /user_dao/user_table/1{ "name":"baby", "sex":0, "age":1}PUT /user_dao/user_table/2{ "name":"father", "sex":0, "age":26}PUT /user_dao/us...原创 2019-12-18 16:56:20 · 598 阅读 · 0 评论 -
分布式系列教程(31) -ElasticSearch倒排索引
正向索引正排表 : 以文档的ID为关键字,表中记录文档中每个字的位置信息,查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。这种组织方法在建立索引的时候结构比较简单,建立比较方便且易于维护,因为索引是基于文档建立的。若是有新的文档加入,直接为该文档建立一个新的索引块,挂接在原来索引文件的后面。若是有文档删除,则直接找到该文档号文档对应的索引信息,将其直接删除。但是在查...原创 2019-12-18 16:30:32 · 616 阅读 · 1 评论 -
分布式系列教程(30) -SpringBoot整合ElasticSearch
引言代码已提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/SpringBoot-ElasticSearch-DemoSpringBoot整合ElasticSearch1.新建Maven项目Spring-ElasticSearch-Demo2.添加maven依赖:<parent> <groupId>org...原创 2019-12-17 20:31:49 · 704 阅读 · 0 评论 -
分布式系列教程(29) -Kibana实现增删改查
ElasticSearch类似于关系型数据库,可以使用Kibana对ElasticSearch进行增删改查。关系型数据库与ES对比:关系型数据库ElasticSearch数据库(DB)索引(Index)表(Table)类型(type)行(Row)文档(Docments)列(Columns)字段(Fields)在Kibana的管理界面,可以进行...原创 2019-12-17 20:01:30 · 841 阅读 · 0 评论 -
分布式系列教程(28) -Linux环境安装Kibana
引言Kibana是一个开源的分析和可视化平台,设计用于和Elasticsearch一起工作。你用Kibana来搜索,查看,并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析,并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板,实时显示Elasticsearch查询...原创 2019-12-17 19:36:00 · 632 阅读 · 0 评论 -
分布式系列教程(27) -Linux环境下安装Elasticsearch
1. 引言在上一篇博客《分布式系列教程(26) -分布式日志搜集工具Elasticsearch简介》,介绍了ES的优点、应用场景等。本文进行实际操作,在Linux下安装ES。2. Linux下安装Elasticsearch注意:必须先安装好JDK!ES非常占内存,Linux安装内存建议1g内存以上!2.1 正常安装1.下载elasticsearch安装包:https://www.elas...原创 2019-12-17 19:18:24 · 672 阅读 · 0 评论 -
分布式系列教程(26) -分布式日志搜集工具Elasticsearch简介
1. Elasticsearch简介Elasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎。Elasticsearch 还是一个分布式文档数据库,其中每个字段均是被索引的数据且可被搜索,它能够扩展至数以百计的服务器存储以及处理PB级的数据。它可以在很短的时间内在储、搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。El...原创 2019-12-17 17:10:11 · 638 阅读 · 0 评论