yanqi_vip

一、ElasticSearch### --- ELK：集中式日志系统~~~ 日志，对于任何系统来说都是及其重要的组成部分。~~~ 在计算机系统里面，更是如此。~~~ 但是由于现在的计算机系统大多比较复杂，很多系统都不是在一个地方，甚至都是跨国界的；~~~ 即使是在一个地方的系统，也有不同的来源，比如，操作系统，应用服务，业务逻辑等等。~~~...

一、Elasticsearch### --- 什么是ElasticSearch~~~ Elasticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，~~~ 它可以近乎实时的存储、检索数据；~~~ 本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。~~~ es也使用Java开发并使用Lucene作为其核心来实现...

一、Elasticsearch Single-Node Mode部署### --- Elasticsearch Single-Node Mode部署~~~ Elasticsearch是一个分布式全文搜索引擎，~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode)部署，~~~ 一般来说，小公司的业务场景往往使用S...

一、简单使用es### --- 创建blog01索引~~~ # 创建blog01索引：若是返回是true，说明创建索引是成功的[root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数{ "acknowledged" : true, "shards_acknowledg...

一、ElasticSearch架构图以及基本概念(术语)### --- 概述~~~ Elasticsearch是面向文档(document oriented)的，~~~ 这意味着它可以存储整个对象或文档(document)。~~~ 然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。~~~ 在Elasticsearch中，...

一、Elasticsearch 集群环境准备### --- hadoop01~03修改系统配置：修改/etc/sysctl.conf~~~ # 修改/etc/sysctl.conf[root@hadoop01 ~]# vim /etc/sysctl.conf~~~在文件末尾添加如下参数vm.max_map_count=655360~~~ # 执行sys...

一、安装elasticsearch-head插件### --- Elasticsearch Head插件介绍及安装和验证主从环境~~~ Elasticsearch Head插件介绍及安装### --- elasticsearch-head 简介~~~ elasticsearch-head是一个界面化的集群操作和管理工具，可以对集群进行傻瓜式操作。~~~...

一、ElasticSearch-head：谷歌浏览其插件方式安装：#测试环境推荐使用### --- ElasticSearch-head：谷歌浏览其插件方式安装：# 测试环境推荐使用~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行，~~~ 并且支持Chrome的插件方式或者Docker容器运行方式。...

一、Kibana概述### --- 什么是Kibana~~~ Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具，~~~ 可以利用Elasticsearch的聚合功能，生成各种图表，如柱形图，线状图，饼图等。~~~ 而且还提供了操作Elasticsearch索引数据的控制台，~~~ 并且提供了一定的API提示，...

一、部署kibana服务### --- 下载kibana版本包~~~ # 下载kibana服务版本包：使用root用户部署[root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3.0-linux-x86_64.tar.gz### --- 部署...

一、索引操作(创建、查看、删除)### --- 创建索引库语法~~~ Elasticsearch采用Rest风格API，因此其API就是一次http请求，~~~ 你可以用任何工具发起http请求~~~ # 语法PUT / 索引名称 { "settings": { "属性名": "属性值" }}### --- 创...

一、安装IK分词器### --- 安装IK分词器~~~ # hadoop01~03：使用root用户部署IK分词器，然后重启ES服务~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录[root@hadoop02 ~]# mkdir /opt/yanqi/servers/es/elasticsearch/pl...

一、词典使用### --- 词典使用~~~ # 扩展词：~~~ 就是不想让哪些词被分开，让他们分成一个词。比如上面的江大桥~~~ # 停用词：~~~ 有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。~~~ 例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称为停用词。~~~ 停用词经常...

一、映射操作### --- 映射操作~~~ 索引创建之后，等于有了关系型数据库中的database。~~~ Elasticsearch7.x取消了索引type类型的设置，不允许指定类型，默认为_doc，但字段仍然是有的，~~~ 我们需要设置字段的约束信息，叫做字段映射(mapping)字段的约束包括但不限于：### --- 字段的数据类型~~...

一、文档增删改查及局部更新### --- 文档增删改查及局部更新~~~ 文档，即索引库中的数据，会根据规则创建索引，将来用于搜索。~~~ 可以类比做数据库中的一行数据。### --- 新增文档~~~ 新增文档时，涉及到id的创建方式，手动指定或者自动生成。~~~ 新增文档(手动指定id)二、创建文档：手动指定ID...

一、更新文档(全部更新)### --- 把刚才新增的请求方式改为PUT，就是修改了，不过修改必须指定id~~~ id对应文档存在，则修改~~~ id对应文档不存在，则新增~~~ 比如，我们把使用id为4，不存在，则应该是新增### --- 更新示例### --- 再次执行刚才的请求，不过把数据改一下：可以看到结果是： updated ，显然是更...

一、Query DSL### --- QueryDSL~~~ https://www.elastic.co/guide/en/elasticsearch/reference/7.3/query-dsl.html~~~ Elasticsearch提供了基于JSON的完整查询DSL(Domain Specific Language 特定域的语言)来~~~ ...

一、全文搜索(full-text query)### --- 全文搜索(full-text query)~~~ 全文搜索能够搜索已分析的文本字段，如电子邮件正文，商品描述等。~~~ 使用索引期间应用于字段的同一分词器处理查询字符串。全文搜索的分类很多 几个典型的如下:二、匹配搜索### --- 匹配搜索(match query)~~~...

一、短语搜索(match phrase query)### --- 短语搜索~~~ match_phrase是分词的，text也是分词的。~~~ match_phrase的分词结果必须在text字段分词中都包含，而且顺序必须相同，而且必须都是连续的### --- 搜索示例GET /yanqi-property/_search{"query": {...

一、query_string 查询### --- query_string查询~~~ 该查询与match类似，但是match需要指定字段名，~~~ query_string是在所有字段中搜索，范围更广泛。~~~ Query String Query提供了无需指定某字段而对文档全文进行匹配查询的~~~ 一个高级查询,同时可以指定在哪些字段上进行...

一、词条级搜索(term-level queries)### --- 词条级搜索~~~ 可以使用term-level queries根据结构化数据中的精确值查找文档。~~~ 结构化数据的值包括日期范围、IP地址、价格或产品ID。~~~ 与全文查询不同，term-level queries不分析搜索词。~~~ 相反，词条与存储在字段级别中的术语...

一、词条搜索(term query)### --- term 查询用于查询指定字段包含某个词项的文档POST /book/_search{"query": {"term" : { "name" : "solr" }}}二、词条集合搜索(terms query)### --- terms 查询用于查询指定字段包含某些词项的文档GET /book/...

一、复合搜索(compound query)### --- 布尔搜索(bool query)~~~ # bool 查询用bool操作来组合多个查询子句为一个查询。 可用的关键字：~~~ must：必须满足~~~ filter：必须满足，对集合包含/排除的简单检查，计算速度非常快，不参与、不影响评分~~~ should：或~~~ mu...

一、Filter DSL### --- Filter DSL~~~ Elasticsearch中的所有的查询都会触发相关度得分的计算。~~~ 对于那些不需要相关度得分的场景下，Elasticsearch以过滤器的形式提供了另一种查询功能，~~~ 过滤器在概念上类似于查询，但是它们有非常快的执行速度，~~~ # 执行速度快主要有以下两个原因...

一、排序### --- 相关性评分排序~~~ 默认情况下，返回的结果是按照 相关性 进行排序的——最相关的文档排在最前。 ~~~ 首先看看 sort 参数以及如何使用它。~~~ 为了按照相关性来排序，需要将相关性表示为一个数值。~~~ 在 Elasticsearch 中， 相关性得分 由一个浮点数进行表示，~~~ 并在搜索结果中通过...

一、分页### --- Elasticsearch中实现分页的语法非常简单：POST /book/_search{"query": {"match_all": {}},"sort": [{"price": {"order": "desc"}}],"size": 2,"from": 0}POST /book/_search{"...

一、高亮### --- Elasticsearch中实现高亮的语法比较简单：~~~ # 在使用match查询的同时，加上一个highlight属性：~~~ pre_tags：前置标签~~~ post_tags：后置标签~~~ fields：需要高亮的字段~~~ name：这里声明title字段需要高亮### --- 搜索示例...

一、文档批量操作(bulk 和 mget)### --- mget 批量查询~~~ 单条查询 GET /test_index/_doc/1，如果查询多个id的文档一条一条查询，网络开销太大。GET /_mget{"docs" : [{"_index" : "book","_id" : 1},{"_index" : "book","_id" : 2...

一、bulk 批量增删改### --- Bulk 操作解释将文档的增删改查一些列操作，通过一次请求全都做完。减少网络传输次数。~~~ # 语法：POST /_bulk{"action": {"metadata"}}{"data"}### --- 操作示例~~~ # 如下操作，删除1，新增5，修改2。POST /_bulk{ "delete": ...

一、聚合分析### --- 聚合介绍~~~ 聚合分析是数据库中重要的功能特性，完成对一个查询的数据集中数据的聚合计算，~~~ 如：找出某字段(或计算表达式的结果)的最大值、最小值，计算和、平均值等。~~~ Elasticsearch作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。~~~ 对一个数据集求最大、最小、和、平均值等指标的聚合，...

一、指标聚合：max min sum avg### --- 示例一：查询所有书中最贵的POST /book/_search{"size": 0,"aggs": {"max_price": {"max": {"field": "price"}}}}二、文档计数count### --- 示例： 统计price大于100的文档数量POST ...

一、桶聚合### --- Bucket Aggregations，桶聚合。~~~ 它执行的是对文档分组的操作(与sql中的group by类似)，~~~ 把满足相关特性的文档分到一个桶里，即桶分，~~~ 输出结果往往是一个个包含多个文档的桶(一个桶就是一个group)~~~ bucket：一个数据分组~~~ metric：对一个数据...

一、Java API操作ES### --- Java API操作ES### --- 创建一个maven工程：elasticsearch~~~ # 官网说明：~~~ https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.3/java-rest-overview.html...

一、Java API操作ES：创建client### --- 创建Clientpackage com.yanqi.es;import org.apache.http.HttpHost;import org.elasticsearch.client.RestClient;import org.elasticsearch.client.RestHighLevelClient...

一、Java API操作ES：创建索引：方法一### --- 创建索引：方法一~~~ # 步骤二：方法一：创建索引 @Test public void createIndex() { final CreateIndexRequest indexRequest = new CreateIndexRequest("es_test"); //准备...

一、Java API操作ES：文档操作### --- 编程实现：文档操作；添加doc~~~ # 步骤五：文档操作；添加doc @Test public void addDoc() throws IOException { //准备一个添加文档的对象 final IndexRequest indexRequest = new ...

一、Java API操作ES：查询操作### --- 查询操作：termquery~~~ # 步骤八：查询操作：termquery @Test public void termQuery() throws IOException { //根据关键字 不分词检索 final SearchRequest searchReques...

一、环境准备### --- 查询操作：准备数据~~~ # 添加数据一： POST /es_test/_doc/1 { "name": "hadoop添加文档", "description": "hadoop技术栈", "studymodel":"online", ...

一、Elasticsearch之原理剖析### --- 倒排索引~~~ Elasticsearch 使用一种称为倒排索引的结构，它适用于快速的全文搜索。~~~ 一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。### --- 例如，假设我们有两个文档，每个文档是如下内容：1. The quick brown fox j...

一、存储文件详解### --- 存储文件详解说明~~~ 通过ES-HEAD插件可以查看到一个索引的分片信息，图中一个绿色方块就代表一个分片Shard;~~~ ES使用Lucene来处理shard级别的索引和查询，~~~ 因此数据目录中的文件由Elasticsearch和Lucene共同编写。~~~ Lucene负责编写和维护...