【elasticsearch实战】从零开始设计全站搜索引擎(1)，2024年最新大数据开发码农是如何进入腾讯的

最新推荐文章于 2024-05-31 14:54:28 发布
最新推荐文章于 2024-05-31 14:54:28 发布
阅读量977 收藏 21
点赞数 9
分类专栏： 2024年程序员学习 文章标签： 搜索引擎 大数据 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84167086/article/details/137779508
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

我们考虑综合考虑了实时性要求和对应用的改造影响，选择了方案4: 基于MySQL的Binlog日志同步。
那么异步同步工具有又怎么选择呢？

同步工具选型

同步工具开源方案目前最活跃的应该是阿里巴巴开源的canal ，可以看github官网的原理介绍

  1. MySQL主备复制原理：
    • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志- 事件binary log events，可以通过 show binlog events 进行查看)
    • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
    • MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据
  2. canal 工作原理
    • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
    • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
    • canal 解析 binary log 对象(原始为 byte 流)

在这里插入图片描述
我们结合自己的业务场景和系统现状选择了腾讯云DTS做数据传输工具， 另外自研了数据传输的中间件，来解决不同数据表结构的适配问题，统一适配数据格式之后，将数据从新写入kafka，然后通过logstash 读取kafka数据写入binlog。

#mermaid-svg-CDPtMmuPvv8JTgZj {font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .error-icon{fill:#552222;}#mermaid-svg-CDPtMmuPvv8JTgZj .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-CDPtMmuPvv8JTgZj .marker{fill:#333333;stroke:#333333;}#mermaid-svg-CDPtMmuPvv8JTgZj .marker.cross{stroke:#333333;}#mermaid-svg-CDPtMmuPvv8JTgZj svg{font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-CDPtMmuPvv8JTgZj .label{font-family:“trebuchet ms”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster-label text{fill:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster-label span{color:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .label text,#mermaid-svg-CDPtMmuPvv8JTgZj span{fill:#333;color:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .node rect,#mermaid-svg-CDPtMmuPvv8JTgZj .node circle,#mermaid-svg-CDPtMmuPvv8JTgZj .node ellipse,#mermaid-svg-CDPtMmuPvv8JTgZj .node polygon,#mermaid-svg-CDPtMmuPvv8JTgZj .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-CDPtMmuPvv8JTgZj .node .label{text-align:center;}#mermaid-svg-CDPtMmuPvv8JTgZj .node.clickable{cursor:pointer;}#mermaid-svg-CDPtMmuPvv8JTgZj .arrowheadPath{fill:#333333;}#mermaid-svg-CDPtMmuPvv8JTgZj .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-CDPtMmuPvv8JTgZj .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-CDPtMmuPvv8JTgZj .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-CDPtMmuPvv8JTgZj .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster text{fill:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster span{color:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-CDPtMmuPvv8JTgZj :root{–mermaid-font-family:“trebuchet ms”,verdana,arial,sans-serif;}

订阅binlog

读取kafka

写入kafka2

input来源于kafka2

输出到kafka1

腾讯云 DTS-kafka1

MySQL

dts适配

kafka2

logstash

Elasticsearch

整体设计

架构图

架构图如下

  • 搜索服务：基础的关键词检索能力、权限控制、热词/联想词、搜索结果混排、查询第三方数据
  • 数据转换服务：读取kafka的binlog转换成满足es索引结构的json对象，再写入kafka，通过logstash写入es中。
    在这里插入图片描述

详细设计

该服务包括：搜索门户api、权限控制、搜索能力、搜索混排、搜索热词、联想关键词。

搜索混排

由于自主维护的数据和第三方数据源数据都存储在es中，因此可以直接使用评分进行合并，如下图所示。
在这里插入图片描述

注意：

  1. 可以配置不同数据源的评分权重（或者评分算法）以便优先要展示的结果；
  2. 需要记录不同数据源的偏移量和不同数据的查询结果，以便实现下次查询分页处理；
  3. 查询ES和查询私有云数据使用协程并行操作，等待2个结果共同返回处理。

另外你的第三方数据源没有存储在es数据库中，不能直接给出文档评分的，可以考虑以下混排方案：

方案原理优点缺点
es临时建索引做混排将来自不同数据源的数据在Elasticsearch中创建一个临时索引，然后在该索引上进行搜索和排序。1. 利用Elasticsearch强大的搜索功能。2. 支持复杂的查询和排序。1. 需要创建临时索引，可能影响性能。2. 需要处理索引的创建和删除。3. 可能需要处理数据源之间的数据差异。
Lucene内存混排将来自不同数据源的数据加载到Lucene内存索引中，然后在内存索引上进行搜索和排序。1. 高性能，因为数据存储在内存中。2. 支持复杂的查询和排序。1. 内存占用较高。2. 需要处理Lucene内存索引的创建和维护。3. 可能需要处理数据源之间的数据差异。
分词词频内存混排根据分词和词频对来自不同数据源的数据进行内存中的排序，然后返回排序后的结果。1. 实现相对简单。2. 内存占用相对较低。1. 只支持基于分词和词频的排序。2. 对于复杂的查询和排序需求，可能不够灵活。3. 可能需要处理数据源之间的数据差异。

翻页方案

由于要对2个数据源进行混排，要支持搜索跳页比较困难，因此在功能实现上目前只能支持上下翻页来实现

翻页计算公式

前端需要保存每一页es 和 api 两个数据源的偏移量：EsOffset 和 ApiOffset，可以使用对象数组保存pageArrays[0] = {EsOffset: 0, ApiOffset: 0 } , 翻页计算公式如下：

  • 当前页码计算公式：PageNo =（EsOffset+ApiOffset） /PageSize
  • 上一页：将当前页码减1 ：pageArrays[（EsOffset+ApiOffset）/ PageSize - 1 ] ， 获取上一页页面缓存的上一页 EsOffset 和 ApiOffset
  • 下一页： EsOffset = EsOffset + EsUsedItemCount， ApiOffset = ApiOffset + ApiUsedItemCount， 获取下一页的EsOffset 和 ApiOffset

注意：查询到第一页时，可清空页面分页缓存数组对象，重新存储。

翻页举例说明

  1. 查询首页，假设没页显示20条数据

    • 请求参数：EsOffset = 0，ApiOffset=0， PageSize=20
    • 返回结果：EsOffset = 0，ApiOffset=0，EsUsedItemCount=7，ApiUsedItemCount=13， EsHasNextPage=true，ApiHasNextPage=true

前端需要需要页面需要保存当前第一页页面的 EsOffset=0 和 ApiOffset=0，PageNo = (0 + 0) / 20 = 0 ，页面缓存数据： pageArrays=[{EsOffset: 0, ApiOffset: 0 }]

  1. 继续查询下一页

    • 请求参数：EsOffset = EsOffset + EsUsedItemCount=> 0 + 7 = 7，ApiOffset=ApiOffset+ApiUsedItemCount = 0 + 13 = 13， PageSize=20
    • 返回结果：EsOffset = 7，ApiOffset=13， EsUsedItemCount = 12，ApiUsedItemCount = 8， EsHasNextPage=true，ApiHasNextPage=true
    • 前端继续缓存当前分页数据：EsOffset=7 和 ApiOffset=13，PageNo = (7 + 13) / 20 = 1， pageArrays=[{EsOffset: 0, ApiOffset: 0 }，{EsOffset: 7, ApiOffset: 13}]

  2. 查询上一页

  • 请求参数：当前页码减1 （EsOffset+ApiOffset）/ PageSize - 1 => (7 + 13)/20 - 1 = 0 EsOffset = pageArrays[0].EsOffset = 0，ApiOffset=pageArrays[0].ApiOffset = 0, PageSize = 20
  • 返回结果：与第一页一致
    如果是查询第一数据，清空缓存数组，重新缓存当前分页数据。

权限处理

搜索权限需要满足根据用户权限过滤部分无权限的文档，以下是召回前处理和召回后处理权限的方案对比。

方案实现优点缺点
召回前过滤在查询时，根据用户的权限对文档进行过滤，只返回有权限查看的文档。1. 查询结果直接满足权限要求。2. 减少了无关文档的返回，提高了性能。1. 需要在查询时处理权限信息。2. 对于复杂的权限体系，实现可能较为复杂。
召回后过滤先查询所有文档，然后根据用户的权限对查询结果进行过滤。1. 查询过程简单，不需要处理权限信息。2. 适用于简单的权限体系。1. 可能返回大量无关文档，影响性能。2. 需要在查询后处理权限信息，增加了实现复杂度。

根据我的需求和场景，对性能要求较高，我们使用召回前过滤。如果希望简化查询过程，页可以考虑使用召回后过滤。
下面是在文档的权限格式，包含文档有权限的用户ID和部门ID

"privilege": {
     "data": [
         {
             "type": "staff",
             "id": "xxxx"
         },
         {
             "type": "department",
             "id": 1
         }
     ]
 }

我们在设计索引mapping时

{
  "mappings": {
    "properties": {
      "privilege": {
        "properties": {
          "data": {
            "type": "nested",
            "properties": {
              "type": {
                "type": "keyword"
              },
              "id": {
                "type": "keyword"
              }
            }
          }
        }
      }
    }
  }
}

查询权限过滤参数：

GET /your_index/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match\_all": {}
        }
      ],
      "filter": [
        {
          "nested": {
            "path": "privilege.data",
            "query": {
              "bool": {
                "must": [
                  {
                    "term": {
                      "privilege.data.type": "staff"
                    }
                  },
                  {
                    "term": {
                      "privilege.data.id": "xxxx"
                    }
                  }
                ]
              }
            }
          }
        },
        {
          "nested": {
            "path": "privilege.data",
            "query": {
              "bool": {
                "must": [
                  {
                    "term": {
                      "privilege.data.type": "department"
                    }
                  },
                  {
                    "term": {
                      "privilege.data.id": "1"
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
  }
}
搜索行为日志收集

需要满足用户搜索历史记录，首先需要收集用户搜索行为日志。

#mermaid-svg-RGDIHV3yG6IIeTHR {font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .error-icon{fill:#552222;}#mermaid-svg-RGDIHV3yG6IIeTHR .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-RGDIHV3yG6IIeTHR .marker{fill:#333333;stroke:#333333;}#mermaid-svg-RGDIHV3yG6IIeTHR .marker.cross{stroke:#333333;}#mermaid-svg-RGDIHV3yG6IIeTHR svg{font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-RGDIHV3yG6IIeTHR .label{font-family:“trebuchet ms”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster-label text{fill:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster-label span{color:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .label text,#mermaid-svg-RGDIHV3yG6IIeTHR span{fill:#333;color:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .node rect,#mermaid-svg-RGDIHV3yG6IIeTHR .node circle,#mermaid-svg-RGDIHV3yG6IIeTHR .node ellipse,#mermaid-svg-RGDIHV3yG6IIeTHR .node polygon,#mermaid-svg-RGDIHV3yG6IIeTHR .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-RGDIHV3yG6IIeTHR .node .label{text-align:center;}#mermaid-svg-RGDIHV3yG6IIeTHR .node.clickable{cursor:pointer;}#mermaid-svg-RGDIHV3yG6IIeTHR .arrowheadPath{fill:#333333;}#mermaid-svg-RGDIHV3yG6IIeTHR .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-RGDIHV3yG6IIeTHR .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-RGDIHV3yG6IIeTHR .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-RGDIHV3yG6IIeTHR .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster text{fill:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster span{color:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-RGDIHV3yG6IIeTHR :root{–mermaid-font-family:“trebuchet ms”,verdana,arial,sans-serif;}

输入关键词

写入日志

用户

服务端

Mysql

通过收集用户搜索关键词存储在MySQL，每日定时任务统计热词和联想词来实现热门搜索榜和搜索联想词。

搜索热词设计

通过收集用户搜索词来统计热搜词， 其中热搜词的热度通过统计搜词词频来统计，统计包括热度周期，T+n 天的搜词次数排序，可以设计一个热度公式。

  1. 初始热度权重： w （默认1）
  2. 单位时间词频： c ：(时间单位可以是 分钟、小时、天等，例如：以天为单位统计）
  3. 统计时间段数：T：（例如：连续统计30天关键词搜索频次）
  4. 单位时间热度： w / T（每个单位时间热度权重）
  5. 距离当前时间单位： n （例如计算最近30天，昨天的单位为：0）
    一个词热度计算公式：
    hot = [（T - 0）* c0 + (T - 1) * c1 + （T-2) * c2 + … + (T-n) * cn] * （w / T）
    我们以按天统计，统计30天为例，每天的访问词频从近到远为： c0, c1, c2, … cn ( n 从0到29)， 热度默认权重：1，时间段 T = 30（最近30天）
    hot = [(30 - 0) * c0 + (30 -1) * c1 + (30-2)*c2 + … + (30 - 29) * c29] * 1 / 30
    => (30 * c0 + 29 * c1 + 28 * c2 + …+ c29) / 30
    化简后可以得到热度公式：

h

o

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

  • (T-n) * cn] * （w / T）
    我们以按天统计，统计30天为例，每天的访问词频从近到远为： c0, c1, c2, … cn ( n 从0到29)， 热度默认权重：1，时间段 T = 30（最近30天）
    hot = [(30 - 0) * c0 + (30 -1) * c1 + (30-2)*c2 + … + (30 - 29) * c29] * 1 / 30
    => (30 * c0 + 29 * c1 + 28 * c2 + …+ c29) / 30
    化简后可以得到热度公式：

h

o

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-42Hn5Inm-1713161892619)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84167086
关注
  • 9
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Android模拟器图形绘原理(二十二)，Android码农是如何进入腾讯的
m0_66264134的博客
01-26 257
Android系统到模拟器 在Goldfish-openGL下提供了对于EGL，GLES1.1，GLES2.0的相应的编码类，对于其中实现的每一个方法获取到当前gl_encoder_context持有的IOStream，来将数据写入到流之中来进行通信。对于Android系统和模拟器之间的连接是通过HostConnection来实现的。其中的通信实现采用的是QemuPipe。 Android模拟器实现了一种特殊的虚拟设备类来提供宿主系统和模拟器之间非常快速的通信渠道。该种通道的打开连接方式。 首先打开/d
ElasticSearch搜索引擎使用-从0到1
02-25
两年前有机会接触过elasticsearch，但是未做深入学习，只是工作中用到了。越来越发现es是个不错的好东西，所以花了点时间好好学习了下。在学习过程中也发现了一些问题，网上大多资料都很零散，大部分都是实验性的...
搜索、推荐、广告系统等人工智能优质技术资源最全整理
舒哥的blog
03-13 1万+
前沿 文章目录前沿开源地址[算法学习资料： AI_Tutorial](https://github.com/cbamls/AI_Tutorial)开源相关LuceneSolrElasticLucidWorks中文分词大公司阿里百度京东美团点评携程去哪儿搜狗一号店待分类开发应用理论基础源码解读常见问题其他人工智能领域文集 算法学习资料： AI_Tutorial 人工智能、AI架构、搜索系统、推荐系统...
Android开发3年，我转Java后台了，真香！
2301_79985012的博客
04-23 299
所以目前我们要选好自己细分领域深入研究，对基础原理性内容深入理解，尽快向高级水平靠近并达到。当然也要了解新技术，拥有开放的心态去学习一些新技术，不要一开始出来一个新技术就转入学习，这样会导致啥都会一点啥都不会，当然新技术是有一个发展过程的，不会立马流行和大量应用等它稍微成熟点，这样你会少踩很多坑，也不要排斥它，完全不去理会和了解学习，正确的方式是简单了解这个技术产生是为了解决什么问题，有什么优缺点已经目前发展成熟度和应用范围，我们还是要多抓住技术的本质和基础，这样出现了新技术学起来也会很轻松，当然机会合适了
也许是史上最全的前端资源大汇总
Noah_ZX的博客
07-08 2082
超多免费接口
搜索，推荐，广告系统架构及算法技术资料大合集吐血整理——2020年终分享
热门推荐
舒哥的blog
01-03 2万+
算法学习资料： AI_Tutorial 各大厂架构开发学习资源；精华机器学习，NLP，图像识别等人工智能领域学习资料，搜索，推荐，广告系统架构及算法技术资料吐血整理 你还在为学习算法摸不着头脑么？你还在为技术调研各种Google么？AI的牛b吹不上去？盯紧了，这里就是你的2020女朋友～。本项目会持续关注AI落地的一些优质技术资料。大家也可以去网站投稿。 算法学习资料： AI_Tutorial...
作为技术负责人，如何从0搭建公司后端技术栈
程序猿DD
01-12 762
前沿技术早知道，弯道超车有希望积累超车资本，从关注DD开始图文编辑：xj、来源：网络如何您是一名创业公司的负责人，如何从0搭建公司的后端技术栈。今天要说的后台是大后台的概念，放在服务器上...
靠写作杀出一条“血”路——我的2020年终总结
铭毅天下Elasticsearch
01-08 7296
对于金融行业来说，2020年是撕裂的一年，巴菲特面对熔断如是说：我活了89岁了，只见过四次熔断，第一次是1997年，其他几次都在2020年… 对于体育行业来说，2020年是悲恸的一年，C罗发文悼念马拉多纳如是说：“向永恒天才告别，你走得太早”。2020年上半年带走了“凌晨四点信仰”的科比，下半年又带走了球王马拉多纳。带走的不止是两位巨星，更是 60 亿球迷的青春与回忆… 对于科技行业来说，2020年是巨变的一年，任正非针对美帝制裁如是说：“本来华为公司没有这么大的增长决心和计划，反而是美国制裁，逼我们要争口
大牛是怎么炼成的？(转载自微信公众号 -- 码农翻身)
qq_38836118的博客
03-28 392
原创：王镜鑫码农翻身2018-07-03 前言 本文来自王镜鑫的投稿，老刘做了修改，王镜鑫是山东大学软工专业大三学生，学校ING工作室后台组组长，工作党，参加了18年实习生春招，在三周的时间内"收割"了三家大厂的Offer：美团、百度和阿里巴巴， 最后选择了心仪的阿里。 这应该是牛人了吧，比大学时的老刘强太多了。 联想到近期我接触到的几位优秀年轻人，我觉得他们都有一...
Easy-Es是一款简化ElasticSearch搜索引擎操作的开源框架,全自动智能索引托管
03-18
Elasticsearch 国内顶尖elasticsearch搜索引擎框架es ORM框架,索引全自动智能托管,如丝般顺滑,与Mybatis-plus一致的API,屏蔽语言差异,开发者只需要会MySQL语法即可完成对Es的相关操作,零额外学习成本.底层采用...
Elasticsearch入门：初识分布式搜索引擎
Dxy1239310216的博客
05-31 346
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。通过以上步骤，你将能够初步掌握Elasticsearch的基本知识和使用方法，为进一步深入学习和应用Elasticsearch打下坚实的基础。：首先，你需要下载并安装Elasticsearch。：Elasticsearch支持全文搜索，包括关键词搜索、短语搜索、模糊搜索等，满足各种复杂的搜索需求。：Elasticsearch可以作为网站搜索引擎，提供快速、准确的搜索服务，提升用户体验。
处理大数据的关键技术？
喜欢猪猪
05-30 1064
处理大数据涉及多种技术和工具，这些技术和工具各有其专长，能够解决大数据处理中的不同问题。
深入解析CRM客户关系系统：技术架构与功能实现的融合创新
最新发布
m0_65038841的博客
05-31 424
通过以上技术架构和功能实现，CRM客户关系管理系统能够帮助企业实现客户信息的集中管理、销售过程的自动化、营销活动的精准投放以及客户服务的提升，从而提高企业的市场竞争力和客户满意度。容器化与微服务：采用Docker和Kubernetes等技术，实现系统的容器化和微服务架构，提高系统可扩展性和部署灵活性。营销活动管理：创建、发布和管理各种营销活动，如优惠券、促销活动和线上线下活动等，支持活动效果分析。客户信息管理：实现对客户基本信息的录入、查询、修改和删除功能，支持多维度客户细分和标签管理。
Apache Impala 4.4.0正式发布了！
Stiga Huang的专栏
05-28 952
Apache Impala 4.4.0正式发布了！
kafka的安装
沉下心,苦磨炼
05-27 335
性能压测kafka
spark3.5.1 thriftserver paimon0.9 Datagrip
yy的博客
05-27 195
启动spark thriftserver(支持paimon) 并使用Datagrip。
elasticsearch使用场景_大数据搜索引擎 Elasticsearch 的应用场景与数据同步。
06-02
Elasticsearch是一款开源的分布式搜索引擎，可以用于快速处理大数据量的搜索、分析和聚合。它的应用场景非常广泛，以下是其中几个： 1. 实时搜索：Elasticsearch能够快速处理大量数据，实现实时搜索功能。比如，电商网站可以使用Elasticsearch来搜索商品、评论和用户反馈。 2. 分布式日志分析：Elasticsearch可以处理大量的日志数据，作为分布式日志分析工具。它可以将日志数据分散存储在多台服务器上并进行分析，从而实现高效的日志分析。 3. 企业搜索：Elasticsearch可以用于企业内部搜索，如搜索员工、文档、邮件和数据等。它可以快速响应用户的搜索请求，并根据不同的权限控制进行搜索结果的过滤。 4. 数据同步：Elasticsearch可以与其他数据源进行同步，如MySQL、MongoDB等数据库。通过同步数据，可以将数据转换成适用于Elasticsearch的格式，从而实现更快速的搜索和分析。 总之，Elasticsearch适用于需要高效处理大数据量的搜索、分析和聚合的场景，是大数据搜索引擎的首选之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值