分布式搜索 (二)

最新推荐文章于 2024-11-04 17:34:30 发布
最新推荐文章于 2024-11-04 17:34:30 发布
阅读量404 收藏
点赞数 1
分类专栏： SpringCloud 文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72041293/article/details/131598675
版权

一、DSL 查询文档

1. DSL Query 的分类

Elasticsearch 提供了基于 JSON 的

DSL (Domain Specific  Language)

来定义查询

常见的查询类型包括：

① 查询所有：查询出所有数据，一般测

    试用

    例如：match_all

② 全文检索 (full text) 查询：利用分词器

   对用户输入内容分词，然后去倒排索引

   库中匹配。

   例如：match_query

              multi_match_query

③ 精确查询：根据精确词条值查找数据，

   一般是查找 keyword、数值、日期、

   boolean 等类型字段。

   例如：ids、range 、term

④ 地理 (geo) 查询：根据经纬度查询。

    例如：geo_distance

              geo_bounding_box

⑤ 复合 (compound) 查询：复合查询可以

    将上述各种查询条件组合起来，合并查

    询条件

    例如：bool function_score   

查询 DSL 的基本语法：

GET /索引库名/_search

{

        "query"：{

                "查询类型"：{

                        "FIELD"："TEXT"

                }

        }

} 

2. 全文检索查询

对用户输入内容分词，常用于搜索框搜索：

① match 查询：全文检索查询的一种，会

    对用户输入内容分词，然后去倒排索引

    库检索，语法：

② multi_match：与 match 查询类似，只

    不过允许同时查询多个字段，语法： 

 

 

3. 精准查询

精确查询一般是查找 keyword、数值、

日期、boolean 等类型字段，所以不会

对搜索条件分词

常见的有：

① term：根据词条精确值查询

 

② range：根据值的范围查询

 

 

4. 地理坐标查询

① geo_bounding_box：查询 geo_point

    值落在某个矩形范围的所有文档

 

② geo_distance：查询到指定中心点小

    于某个距离值的所有文档

 

5. 复合查询

fuction score：算分函数查询，可以控制

             文档相关性算分，控制文档排名

(1) 相关性算分

利用 match 查询时，文档结果会根据与搜

索词条的关联度打分 (_score)，返回结果

时按照分值降序排列

TF-IDF：在 elasticsearch5.0 之前，

              会随着词频增加而越来越大

BM25：在 elasticsearch5.0 之后，会

            随着词频增加而增大，但增长

            曲线会趋于水平

(2) Function Score Query

使用 function score query，可以修改文档

的相关性算分 (query score)，根据新得到

的算分排序

function score query 定义的三要素：

① 过滤条件：哪些文档要加分

② 算分函数：如何计算 function score

③ 加权方式：function score 与 query

                      score 如何运算 

(3) Boolean Query

布尔查询是一个或多个查询子句的组合

子查询的组合方式有：

must：必须匹配每个子查询，类似 “与”

should：选择性匹配子查询，类似 “或”

must_not：必须不匹配，不参与算分，

                  类似 “非”

filter：必须匹配，不参与算分 

 

二、搜索结果处理

1. 排序

es 支持对搜索结果排序，默认是根据

相关度算分 (_score) 来排序，可以排

序字段类型有：keyword 类型、数值

类型、地理坐标类型、日期类型等

 

 

2. 分页

es 默认情况下只返回 top10 的数据，

而如果要查询更多数据就需要修改分

页参数了，通过修改 from、size 参

数来控制要返回的分页结果

 (2) 深度分页问题

ES 是分布式的，所以会面临深度分页问题

例如：按 price 排序后，获取 from = 990，

          size =10 的数据：

① 在每个数据分片上都排序并查询前

    1000条文档

② 将所有节点的结果聚合，在内存中

    重新排序选出前1000条文档

③ 从这1000条中，选取从990开始的

    10条文档

  

如果搜索页数过深，或者结果集 (from

+ size) 越大，对内存和 CPU 的消耗也

越高，因此 ES 设定结果集查询的上限

是10000

深度分页解决方案：

① search after：分页时需要排序，原

    理是从上一次的排序值开始，查询

    下一页数据 (推荐)

② scroll：原理将排序数据形成快照，

    保存在内存 (不推荐使用)

总结：

① from + size

优点：支持随机翻页

缺点：深度分页问题，默认查询上限

          (from + size) 是10000

场景：百度、京东、谷歌、淘宝这样

          的随机翻页搜索

② after search

优点：没有查询上限 (单次查询的 size

          不超过10000)

缺点：只能向后逐页查询，不支持随机

          翻页

场景：没有随机翻页需求的搜索，例如

          手机向下滚动翻页

③ scroll

优点：没有查询上限 (单次查询的 size

          不超过10000)

缺点：会有额外内存消耗，并且搜索结

          果是非实时的

场景：海量数据的获取和迁移，从 ES

          7.1 开始不推荐

3. 高亮

在搜索结果中把搜索关键字突出显示

原理：

将搜索结果中的关键字用标签标记出

来，在页面中给标签添加 css 样式

 搜索结果处理整体语法：

 

三、RestClient 查询文档

1. 快速入门

(1) 发起查询请求

request.source() 包含了查询、排序、

分页、高亮等所有功能

QueryBuilders 包含 match、term、

function_score、bool 等各种查询

(2) 解析响应 

 

es 返回的结果是一个 JSON 字符串，

结构包含：

hits：命中的结果
        total：总条数，其中的 value 是具

                 体的总条数值
        max_score：所有结果中得分最高

                             的文档的相关性算分
        hits：搜索结果的文档数组，其中

                的每个文档都是一个json对象
                _source：文档中的原始数据，

                                也是json对象

所以解析响应结果，就是逐层解析 JSON 字

符串

@Test
void testMatchAll() throws IOException {
    // 1.准备Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.准备DSL
    request.source()
        .query(QueryBuilders.matchAllQuery());
    // 3.发送请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);

    // 4.解析响应
    handleResponse(response);
}

private void handleResponse(SearchResponse response) {
    // 4.解析响应
    SearchHits searchHits = response.getHits();
    // 4.1.获取总条数
    long total = searchHits.getTotalHits().value;
    System.out.println("共搜索到" + total + "条数据");
    // 4.2.文档数组
    SearchHit[] hits = searchHits.getHits();
    // 4.3.遍历
    for (SearchHit hit : hits) {
        // 获取文档source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
        System.out.println("hotelDoc = " + hotelDoc);
    }
}

2. match 查询

与 match_all 差别是查询条件，也就是

query 的部分

Java 代码上的差异主要是 request.source().

query() 中的参数

 

@Test
void testMatch() throws IOException {
    // 1.准备Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.准备DSL
    request.source()
        .query(QueryBuilders.matchQuery("all", "如家"));
    // 3.发送请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析响应
    handleResponse(response);

}

3. 精确查询

与之前的查询相比，差异同样在查询条件

 

 

4. 复合查询--Boolean Query

 

@Test
void testBool() throws IOException {
    // 1.准备Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.准备DSL
    // 2.1.准备BooleanQuery
    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
    // 2.2.添加term
    boolQuery.must(QueryBuilders.termQuery("city", "杭州"));
    // 2.3.添加range
    boolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));

    request.source().query(boolQuery);
    // 3.发送请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析响应
    handleResponse(response);

}

5. 排序、分页

搜索结果的排序和分页是与 query 同

级的参数，因此同样是使用 request.

source() 来设置

 

@Test
void testPageAndSort() throws IOException {
    // 页码，每页大小
    int page = 1, size = 5;

    // 1.准备Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.准备DSL
    // 2.1.query
    request.source().query(QueryBuilders.matchAllQuery());
    // 2.2.排序 sort
    request.source().sort("price", SortOrder.ASC);
    // 2.3.分页 from、size
    request.source().from((page - 1) * size).size(5);
    // 3.发送请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析响应
    handleResponse(response);

}

6. 高亮

与之前代码差异较大：

① 查询的DSL：其中除了查询条件，还

    需要添加高亮条件，同样是与 query

    同级

② 结果解析：结果除了要解析 _source

    文档数据，还要解析高亮结果

(1) 请求的 DSL 构建 

 

@Test
void testHighlight() throws IOException {
    // 1.准备Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.准备DSL
    // 2.1.query
    request.source().query(QueryBuilders.matchQuery("all","如家"));
    // 2.2.高亮
    request.source().highlighter(new HighlightBuilder().
                                    field("name").requireFieldMatch(false));
    // 3.发送请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析响应
    handleResponse(response);

}

 (2) 结果解析

 

private void handleResponse(SearchResponse response) {
    // 4.解析响应
    SearchHits searchHits = response.getHits();
    // 4.1.获取总条数
    long total = searchHits.getTotalHits().value;
    System.out.println("共搜索到" + total + "条数据");
    // 4.2.文档数组
    SearchHit[] hits = searchHits.getHits();
    // 4.3.遍历
    for (SearchHit hit : hits) {
        // 获取文档source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
        // 获取高亮结果
        Map<String, HighlightField> highlightFields = hit.getHighlightFields();
        if (!CollectionUtils.isEmpty(highlightFields)) {
            // 根据字段名获取高亮结果
            HighlightField highlightField = highlightFields.get("name");
            if (highlightField != null) {
                // 获取高亮值
                String name = highlightField.getFragments()[0].string();
                // 覆盖非高亮结果
                hotelDoc.setName(name);
            }
        }
        System.out.println("hotelDoc = " + hotelDoc);
    }
}

四、数据聚合

1. 聚合的种类

聚合 (aggregations) 可以实现对文档

数据的统计、分析、运算，参与聚合

的字段类型必须是：keyword、数值、

日期、布尔

聚合常见的有三类：

① 桶聚合 (Bucket)：用来对文档做分组

     TermAggregation：按照文档字段值

                                   分组

     Date Histogram：按照日期阶梯分组，

         例如一周为一组，或者一月为一组

② 度量聚合 (Metric)：用以计算一些值，

     Avg：求平均值         

     Max：求最大值

     Min：求最小值

     Stats：同时求 max、min、avg、sum 等

③ 管道聚合 (pipeline)：其它聚合的结果

                                      为基础做聚合

2. DSL 实现聚合

(1) DSL 实现 Bucket 聚合

聚合必须的三要素：

① 聚合名称

② 聚合类型

③ 聚合字段

  2) 聚合结果排序

默认情况下，Bucket 聚合会统计 Bucket

内的文档数量，记为 _count，并且按照

_count 降序排序

可以修改结果排序方式：

 

   3) 限定聚合范围

默认情况下，Bucket 聚合是对索引库

的所有文档做聚合，我们可以限定要

聚合的文档范围，只要添加 query 条

件即可

 (2) DSL 实现 Metrics 聚合

 

3. RestAPI 实现聚合

  2) 聚合结果解析 

@Test 
Void testAggregation() throws IOException {
    // 1. 准备 Request
    SearchRequest request = new SearchRequest("hotel");
    // 2. 准备 DSL
    // 2.1 设置 size
    request.source().size(0);
    // 2.2 聚合
    request.source().aggregation(AggregationBuilders
            .terms("brandAgg")
            .field("brand")
            .size(10)
    );
    // 3. 发出请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4. 解析结果
    Aggregations aggregations = response.getAggregations();
    // 4.1 根据聚合名称获取聚合结果
    Terms brandTerms = aggregations.get("brandAgg");
    // 4.2 获取 buckets
    List<? extends Terms.Bucket> buckets = brandTerms.getBuckets();
    // 4.3 遍历
    for (Terms.Bucket bucket : buckets) {
        //4.4 获取 key
        String key = bucket.getKeyAsString();
        System.out.println(key);
    }
}

 

五、自动补全

1. 拼音分词器

要实现根据字母做补全，就必须对文档

按照拼音分词，需要安装拼音分词插件

GitHub - medcl/elasticsearch-analysis-pinyin: This Pinyin Analysis plugin is used to do conversion between Chinese characters and Pinyin.

2. 自定义分词器

es 中分词器 (analyzer) 的组成包含三部分：

① character filters：在 tokenizer 之前

   对文本进行处理，例如删除字符、替

   换字符

② tokenizer：将文本按照一定的规则切

   割成词条 (term)，例如 keyword，就

   是不分词；还有ik_smart

③ tokenizer filter：将 tokenizer 输出的

   词条做进一步处理，例如大小写转换、

   同义词处理、拼音处理等

在创建索引库时，通过 settings 来配置自定

义的 analyzer(分词器)：

 

 

// 自定义拼音分词器
PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { 
        "my_analyzer": { 
          "tokenizer": "ik_max_word",
          "filter": "py"
        }
      },
      "filter": {
        "py": { 
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  }
}

① 拼音分词器适合在创建倒排索引

的时候使用，但不能在搜索的时候

使用

② 因此字段在创建倒排索引时应该

用 my_analyzer 分词器，字段在搜

索时应该使用 ik_smart 分词器

 

3. 自动补全查询

es 中使用 completion suggester 查询

来实现自动补全功能，匹配以用户输

入内容开头的词条并返回

为了提高补全查询的效率，对于文档中字

段的类型有一些约束：

① 参与的字段必须是 completion 类型

② 字段的内容一般是用来补全的多个

    词条形成的数组

// 自动补全查询
POST /test/_search
{
  "suggest": {
    "title_suggest": {
      "text": "s", // 关键字
      "completion": {
        "field": "title", // 补全字段
        "skip_duplicates": true, // 跳过重复的
        "size": 10 // 获取前10条结果
      }
    }
  }
}

4. RestAPI 实现自动补全

@Test 
void testSuggest() throws IOEvxception {
    // 1. 准备 Request
    SearchRequest request = new SearchRequest("hotel");
    // 2. 准备 DSL
    request.source().suggest(new SuggestBuilder().addSuggestion(
                "suggestions"
            SuggestBuilders.completionSuggestion("suggestion")
                    .prefix("h")
                    .skipDuplicates(true)
                    .size(10)
    ));
    // 3. 发出请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4. 处理结果
    Suggest suggest = response.getSuggest();
    // 4.1 根据名称获取补全结果
    CompletionSuggestion suggestion = suggest.getSuggestion("hotelSuggestion");
    // 4.2 获取 options 并遍历
    for (CompletionSuggestion.Entry.Option option : suggestion.getOptions()) {
        //4.3 获取一个 option 中的 text，也就是补全的词条
        String text = option.getText().string();
        System.out.println(text);
    }
}

六、数据同步

数据同步：es 中的数据来自于 mysql

                  数据库，因此 mysql 数据

                  发生改变时，es 也必须跟

                  着改变

跨微服务的数据同步问题解决方案

① 同步调用

    优点：实现简单，粗暴

    缺点：业务耦合度高

② 异步通知

    优点：低耦合，实现难度一般

    缺点：依赖 mq 的可靠性

③ 监听 binlog

    优点：完全解除服务间耦合

    缺点：开启 binlog 增加数据库负担、

              实现复杂度高

七、集群

单机的 es 做数据存储，必然面临两个问

题，海量数据存储问题和单点故障问题

解决方案：

① 海量数据存储问题：将索引库从逻辑上

    拆分为N个分片(shard)，存储到多个节

    点

② 单点故障问题：将分片数据在不同节点

    备份(replica)

1. 搭建 ES 集群

  (1) 创建 es 集群

   1) 编写一个 docker-compose 文件，内容如下：

version: '2.2'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data02:/usr/share/elasticsearch/data
    networks:
      - elastic
  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data03:/usr/share/elasticsearch/data
    networks:
      - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

  2) es 运行需要修改一些 linux 系统权限，

      修改 /etc/sysctl.conf 文件

① 添加 vm.max_map_count=262144

② 执行命令 sysctl -p

  3) 通过 docker-compose 文件启动集群

docker-compose up -d

(2) 集群状态监控

使用 cerebro 来监控 es 集群状态

GitHub - lmenezes/cerebro

(3) 创建索引库

方法一：利用 kibana 的 DevTools 创建索引库

PUT /itcast
{
  "settings": {
    "number_of_shards": 3, // 分片数量
    "number_of_replicas": 1 // 副本数量
  },
  "mappings": {
    "properties": {
      // mapping映射定义 ...
    }
  }
}

方法二：利用 cerebro 创建索引库

 

4) 查看分片效果

回到首页，即可查看索引库分片效果：

  

2. 集群脑裂问题

(1) ES 集群的节点角色

(2) ES 集群的分布式查询

es 中的每个节点角色都有自己不同

的职责，因此建议集群部署时，每

个节点都有独立的角色 

各节点的作用： 

① aster eligible：参与集群选主；主节点可

    以管理集群状态、管理分片信息、处理创

    建和删除索引库的请求

② data：数据的 CRUD

③ coordinator：路由请求到其它节点；合并

                         查询到的结果，返回给用户 

 (3) ES 集群的脑裂

默认情况下，每个节点都是 master eligible

节点，因此一旦 master 节点宕机，其它候

选节点会选举一个成为主节点，当主节点

与其他节点网络故障时，可能发生脑裂问题

为了避免脑裂，需要要求选票超过 (eligible

节点数量 + 1) / 2 才能当选为主，因此

eligible 节点数量最好是奇数，对应配置项

是 discovery.zen.minimum_master_nodes，

在 es7.0 以后，已经成为默认配置，因此一

般不会发生脑裂问题

3. 集群分布式存储

当新增文档时，应该保存到不同分片，保证

数据均衡

coordinating node 通过 hash 算法计算文档应该

存储到哪个分片：

shard = hash(_routing) % number_of_shards

① _routing 默认是文档的 id

② 算法与分片数量有关，因此索引库一旦

    创建，分片数量不能修改！

 

4. 集群分布式查询

es 查询分成两个阶段：

① scatter phase：分散阶段，coordinating

    node 会把请求分发到每一个分片

② gather phase：聚集阶段，coordinating

    node 汇总 data node 的搜索结果，并处

    理为最终结果集返回给用户

5. 集群故障转移

集群的 master 节点会监控集群中的节点状

态，如果发现有节点宕机，会立即将宕机节

点的分片数据迁移到其它节点，确保数据安

全，这个叫做故障转移

占枫
关注
专栏目录
Elasticsearch 分布式搜索、分布式索引、分布式存储详解
BXA
05-30 1512
相关性评分是根据搜索请求和文档的匹配程度来计算的，用于确定搜索结果的排序顺序。通过分片和副本的机制，Elasticsearch能够提供高性能和可扩展性的搜索功能。搜索过程中的并行执行和结果合并保证了搜索的效率和准确性。Elasticsearch作为一种分布式搜索、分布式索引和分布式存储的解决方案，具备了强大的搜索能力和良好的可扩展性。可以使用Elasticsearch提供的API和工具来导入和管理数据，保证数据的一致性和完整性。可以通过调整分片和副本的数量、内存和磁盘的配置等来优化集群的性能和可靠性。
搜索引擎分布式系统思考实践
SmartCodeTech的博客
08-23 978
本篇文章主要是对搜索引擎分布式的设计和落地做了总结，主要的几个重要部分是，如何设计一套有状态的分布式系统，其中最主要的核心部分是如何对各个节点的状态变化做处理，以及合理的对数据进行分片和处理。
分布式搜索技术elasticsearch概念篇
jc15274630894的博客
04-20 575
快速认识分布式搜索技术elasticsearch
分布式系统
dingmb的博客
05-24 757
分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。通俗的理解，所谓分布式系统，就是一个业务拆分成多个子业务，分布在不同的服务器节点，共同构成的系统称为分布式系统，同一个分布式系统中的服务器节点在空间部署上是可以随意分布的，这些服务器可能放在不同的机柜中，也可能在不同的机房中，甚至分布在不同的城市。
分布式搜索引擎比较
fightee的博客
08-30 430
一、什么是分布式搜索引擎 （1）搜索引擎： 对数据源中的信息数据进行处理，处理完后放到搜索引擎的节点上，为用户提供一定的检索服务； 目的是为了优化用户的搜索体验，提供更加有效的搜索服务，甚至对用户的搜索行为加以数据分析； （2）分布式存储与搜索： 由多个节点共同组成的搜索服务，可以提高整体的可扩展性，横向扩展为集群，提高存储容量； 二、Lucene （1）一个类库，基于Java的全文搜索引擎，本质上就是一个jar包； （2）当要扩展成集群时相当复杂； 三、Solr （1）基于Lucene构建的开源搜索引擎，
Solr分布式搜索过程
gaojiabao1991的博客
04-21 339
最近因为工作的关系, 花了不少时间读SolrCloud分布式搜索的相关代码, 自己也做了很多solr源码的相关笔记, 本来想趁这次十一假期总结整理一下, 写一篇solr源码分析的文章, 但是后来发现因为solr本身的复杂性, 如果事无巨细的写源码分析, 很可能就陷在细节出不来了, 这样的结果就是读我这个源码分析还不如直接去读solr源码, 因此后来转换了思路, 本文主要想讲两个主题: 目前solr(8.6.0)源码的分布式搜索实现方式, 这部分主要是基于对solr的源码分析. 尝试对solr的分布式
【分布式与集群】
林子夕的博客
09-19 1283
什么是分布式服务？分布式服务是一种系统架构模式，其中多个独立的服务或组件在多个不同的计算节点上协同工作，共同提供某个完整的功能或应用。这些服务通过网络进行通信和协调，以实现一个共同的目标。每个服务通常是相互独立的，可以在不同的服务器、数据中心，甚至不同的地理位置运行。分布式服务架构通常用于构建大规模、高可用性、可扩展性强的系统，能够有效应对高并发请求、负载波动和地理分布需求。分布式服务是一种将应用系统划分为多个独立的服务模块，并分布在不同计算节点上的架构模式。
项目总结：分布式事务
weixin_46117680的博客
07-23 893
相关人员在会议审核并编排后即可发布会议，会议发布后会公开展示在网站上供员工查看、下载相关资料。在网站上展示会议信息需要解决会议信息显示的性能问题，如果速度慢(排除网速)会影响用户的体验性。如何去快速搜索会议？打开会议详情页面仍然去查询数据库可行吗？为了提高网站的速度需要将会议相关信息进行缓存，并且要将会议信息加入索引库方便搜索。1、向会议信息管理数据库的会议发布表存储会议发布信息，更新会议基本信息表中发布状态为已发布。2、向Redis存储会议缓存信息。
分布式详解
刘皇叔说Java的博客
03-23 1046
分布式,通俗意义上来讲，分布式是将一个整体按照分布到不同地方，只要一个节点出现问题，则会导致系统出现问题，分布式就是将多台服务器集中在一起，每台服务器都实现总体中的不同业务。每台服务器都缺一不可，如果某台服务器发生宕机了，则部分功能缺失，将导致整体无法运行。
分布式Session
微信公众号：饺子泡牛奶
06-18 638
章节目录： 一、Session 1.1 概述 1.2 使用原理 二、分布式 Session 2.1 分布式 Session 问题 2.2 解决方案 三、SpringSession 3.1 概述 3.2 整合 3.3 核心原理 3.4 官方文档 四、结束语
基于scrapy的分布式搜索引擎
02-25
在"基于Scrapy的分布式搜索引擎"项目中，我们将探讨如何利用Scrapy来创建一个能够处理大规模数据抓取的分布式系统，并结合搜索引擎技术，实现对抓取数据的有效检索。 一、Scrapy框架详解 Scrapy由多个组件构成，...
分布式搜索引擎Elasticsearch开发实战基础篇
06-09
**分布式搜索引擎Elasticsearch开发实战基础篇** 在信息化飞速发展的时代，数据量激增，传统的数据库查询方式已经无法满足高效、实时的数据检索需求。此时，分布式搜索引擎如Elasticsearch应运而生，它以其强大的...
一种相干分布式信号二维DOA快速估计方法.pdf
08-10
一种相干分布式信号二维DOA快速估计方法 分布式信号处理是计算机工程和应用领域中的一个重要课题。随着技术的发展，分布式信号处理技术也在不断发展和完善。其中，Direction-Of-Arrival（DOA）估计是分布式信号处理...
基于二阶统计量的分布式信源二维波达方向估计.pdf
08-11
分布式信源二维波达方向估计是信号处理领域中的一个重要课题，主要应用于雷达、声纳、无线通信等多个高分辨率阵列信号处理技术领域。随着技术的发展，现有传统的基于点信源信号模型的阵列信号处理算法已无法满足...
基于Hadoop平台的分布式搜索引擎.zip
03-13
《基于Hadoop平台的分布式搜索引擎详解》 在当今大数据时代，高效、快速的搜索能力是企业及个人处理海量信息的关键。Hadoop作为开源的大数据处理框架，以其分布式、可扩展的特性，为构建大规模的搜索引擎提供了强大...
CoEdge: 面向自动驾驶的协作式边缘计算系统，实现分布式实时深度学习任务的高效调度与资源优化
soaring_casia的专栏
11-04 522
CoEdge 系统适用于多个分布式实时应用场景，包括智能交通基础设施、自动驾驶、智能港口和工厂等数据密集型任务。例如，在智能道路基础设施中，CoEdge 系统通过多个配备了传感器的智能灯杆进行协作，实现实时的交通监控和基础设施支持的自动驾驶。每个灯杆通常配备热成像相机、毫米波雷达和 LiDAR 等多种传感器，但这些边缘节点的计算和功率受限，使得在不进行重大升级的情况下，仅能提供数十瓦的固定电源供给，这在大规模边缘系统中尤为常见。
Docker安装XXL-JOB分布式调度任务
hkl_Forever的博客
11-04 26
3、在挂载目录创建配置文件（application.properties 或 datasource.properties），添加内容。2、创建 xxl-job 数据库，将上述文件中的脚本在本库执行即可。1、下载 xxl-job 源码，找到持久化脚本。用户密码：admin/123456。1、下载 xxl-job 镜像。4、创建 xxl-job 容器。2、创建挂载目录及配置文件。
分布式光伏管理办法
最新发布
zheguyun的博客
11-04 195
光伏业务管理系统通过数字化手段实现对光伏业务全流程的精细化管理，包括项目规划、设计选型、施工建设、运营维护、数据分析等多个环节。2.数据可视化：实时收集并展示项目运行数据，包括发电量、设备状态、故障报警等，使管理者能够直观了解项目运营情况，快速响应问题。1.流程标准化：系统通过预设的标准流程和规范，确保每个环节的操作都符合行业标准和最佳实践，减少人为错误，提高项目质量。5.风险预警与应对：通过实时监控和数据分析，及时发现潜在风险，并自动触发预警机制，帮助企业提前采取措施，避免损失。
安科瑞AMB400分布式光纤测温系统解决方案--远程监控、预警，预防电气火灾
Acrel_Fanny的博客
11-01 664
安科瑞AMB400分布式光纤测温系统不仅可以提高安全性，避免电力设备的过载、热点引发火灾等安全事故，确保电力系统的安全运行，还能提升监测效率和精度，并且适应复杂的应用环境，同时远程监控和预警，为高层建筑提供安全保障，有助于推动高层建筑配电系统的智能化管理。
深入理解Elasticsearch：分布式搜索与聚合分析
"分布式搜索 ppt 说明资料，深入探讨了 Elasticsearch 的数据聚合功能，包括自动补全、数据同步以及各种类型的聚合操作。" 在分布式搜索领域，Elasticsearch 是一个非常重要的工具，它允许高效地处理和检索大量数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值