【elasticsearch实战】从零开始设计全站搜索引擎(1)，2024年最新大数据开发码农是如何进入腾讯的

于 2024-04-15 14:19:29 发布
阅读量1k 收藏 21
点赞数 9
分类专栏： 2024年程序员学习 文章标签： 搜索引擎 大数据 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84167086/article/details/137779508
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

我们考虑综合考虑了实时性要求和对应用的改造影响，选择了方案4: 基于MySQL的Binlog日志同步。
那么异步同步工具有又怎么选择呢？

同步工具选型

同步工具开源方案目前最活跃的应该是阿里巴巴开源的canal ，可以看github官网的原理介绍

  1. MySQL主备复制原理：
    • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志- 事件binary log events，可以通过 show binlog events 进行查看)
    • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
    • MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据
  2. canal 工作原理
    • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
    • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
    • canal 解析 binary log 对象(原始为 byte 流)

在这里插入图片描述
我们结合自己的业务场景和系统现状选择了腾讯云DTS做数据传输工具， 另外自研了数据传输的中间件，来解决不同数据表结构的适配问题，统一适配数据格式之后，将数据从新写入kafka，然后通过logstash 读取kafka数据写入binlog。

#mermaid-svg-CDPtMmuPvv8JTgZj {font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .error-icon{fill:#552222;}#mermaid-svg-CDPtMmuPvv8JTgZj .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-CDPtMmuPvv8JTgZj .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-CDPtMmuPvv8JTgZj .marker{fill:#333333;stroke:#333333;}#mermaid-svg-CDPtMmuPvv8JTgZj .marker.cross{stroke:#333333;}#mermaid-svg-CDPtMmuPvv8JTgZj svg{font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-CDPtMmuPvv8JTgZj .label{font-family:“trebuchet ms”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster-label text{fill:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster-label span{color:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .label text,#mermaid-svg-CDPtMmuPvv8JTgZj span{fill:#333;color:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .node rect,#mermaid-svg-CDPtMmuPvv8JTgZj .node circle,#mermaid-svg-CDPtMmuPvv8JTgZj .node ellipse,#mermaid-svg-CDPtMmuPvv8JTgZj .node polygon,#mermaid-svg-CDPtMmuPvv8JTgZj .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-CDPtMmuPvv8JTgZj .node .label{text-align:center;}#mermaid-svg-CDPtMmuPvv8JTgZj .node.clickable{cursor:pointer;}#mermaid-svg-CDPtMmuPvv8JTgZj .arrowheadPath{fill:#333333;}#mermaid-svg-CDPtMmuPvv8JTgZj .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-CDPtMmuPvv8JTgZj .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-CDPtMmuPvv8JTgZj .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-CDPtMmuPvv8JTgZj .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster text{fill:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj .cluster span{color:#333;}#mermaid-svg-CDPtMmuPvv8JTgZj div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-CDPtMmuPvv8JTgZj :root{–mermaid-font-family:“trebuchet ms”,verdana,arial,sans-serif;}

订阅binlog

读取kafka

写入kafka2

input来源于kafka2

输出到kafka1

腾讯云 DTS-kafka1

MySQL

dts适配

kafka2

logstash

Elasticsearch

整体设计

架构图

架构图如下

  • 搜索服务：基础的关键词检索能力、权限控制、热词/联想词、搜索结果混排、查询第三方数据
  • 数据转换服务：读取kafka的binlog转换成满足es索引结构的json对象，再写入kafka，通过logstash写入es中。
    在这里插入图片描述

详细设计

该服务包括：搜索门户api、权限控制、搜索能力、搜索混排、搜索热词、联想关键词。

搜索混排

由于自主维护的数据和第三方数据源数据都存储在es中，因此可以直接使用评分进行合并，如下图所示。
在这里插入图片描述

注意：

  1. 可以配置不同数据源的评分权重（或者评分算法）以便优先要展示的结果；
  2. 需要记录不同数据源的偏移量和不同数据的查询结果，以便实现下次查询分页处理；
  3. 查询ES和查询私有云数据使用协程并行操作，等待2个结果共同返回处理。

另外你的第三方数据源没有存储在es数据库中，不能直接给出文档评分的，可以考虑以下混排方案：

方案原理优点缺点
es临时建索引做混排将来自不同数据源的数据在Elasticsearch中创建一个临时索引，然后在该索引上进行搜索和排序。1. 利用Elasticsearch强大的搜索功能。2. 支持复杂的查询和排序。1. 需要创建临时索引，可能影响性能。2. 需要处理索引的创建和删除。3. 可能需要处理数据源之间的数据差异。
Lucene内存混排将来自不同数据源的数据加载到Lucene内存索引中，然后在内存索引上进行搜索和排序。1. 高性能，因为数据存储在内存中。2. 支持复杂的查询和排序。1. 内存占用较高。2. 需要处理Lucene内存索引的创建和维护。3. 可能需要处理数据源之间的数据差异。
分词词频内存混排根据分词和词频对来自不同数据源的数据进行内存中的排序，然后返回排序后的结果。1. 实现相对简单。2. 内存占用相对较低。1. 只支持基于分词和词频的排序。2. 对于复杂的查询和排序需求，可能不够灵活。3. 可能需要处理数据源之间的数据差异。

翻页方案

由于要对2个数据源进行混排，要支持搜索跳页比较困难，因此在功能实现上目前只能支持上下翻页来实现

翻页计算公式

前端需要保存每一页es 和 api 两个数据源的偏移量：EsOffset 和 ApiOffset，可以使用对象数组保存pageArrays[0] = {EsOffset: 0, ApiOffset: 0 } , 翻页计算公式如下：

  • 当前页码计算公式：PageNo =（EsOffset+ApiOffset） /PageSize
  • 上一页：将当前页码减1 ：pageArrays[（EsOffset+ApiOffset）/ PageSize - 1 ] ， 获取上一页页面缓存的上一页 EsOffset 和 ApiOffset
  • 下一页： EsOffset = EsOffset + EsUsedItemCount， ApiOffset = ApiOffset + ApiUsedItemCount， 获取下一页的EsOffset 和 ApiOffset

注意：查询到第一页时，可清空页面分页缓存数组对象，重新存储。

翻页举例说明

  1. 查询首页，假设没页显示20条数据

    • 请求参数：EsOffset = 0，ApiOffset=0， PageSize=20
    • 返回结果：EsOffset = 0，ApiOffset=0，EsUsedItemCount=7，ApiUsedItemCount=13， EsHasNextPage=true，ApiHasNextPage=true

前端需要需要页面需要保存当前第一页页面的 EsOffset=0 和 ApiOffset=0，PageNo = (0 + 0) / 20 = 0 ，页面缓存数据： pageArrays=[{EsOffset: 0, ApiOffset: 0 }]

  1. 继续查询下一页

    • 请求参数：EsOffset = EsOffset + EsUsedItemCount=> 0 + 7 = 7，ApiOffset=ApiOffset+ApiUsedItemCount = 0 + 13 = 13， PageSize=20
    • 返回结果：EsOffset = 7，ApiOffset=13， EsUsedItemCount = 12，ApiUsedItemCount = 8， EsHasNextPage=true，ApiHasNextPage=true
    • 前端继续缓存当前分页数据：EsOffset=7 和 ApiOffset=13，PageNo = (7 + 13) / 20 = 1， pageArrays=[{EsOffset: 0, ApiOffset: 0 }，{EsOffset: 7, ApiOffset: 13}]

  2. 查询上一页

  • 请求参数：当前页码减1 （EsOffset+ApiOffset）/ PageSize - 1 => (7 + 13)/20 - 1 = 0 EsOffset = pageArrays[0].EsOffset = 0，ApiOffset=pageArrays[0].ApiOffset = 0, PageSize = 20
  • 返回结果：与第一页一致
    如果是查询第一数据，清空缓存数组，重新缓存当前分页数据。

权限处理

搜索权限需要满足根据用户权限过滤部分无权限的文档，以下是召回前处理和召回后处理权限的方案对比。

方案实现优点缺点
召回前过滤在查询时，根据用户的权限对文档进行过滤，只返回有权限查看的文档。1. 查询结果直接满足权限要求。2. 减少了无关文档的返回，提高了性能。1. 需要在查询时处理权限信息。2. 对于复杂的权限体系，实现可能较为复杂。
召回后过滤先查询所有文档，然后根据用户的权限对查询结果进行过滤。1. 查询过程简单，不需要处理权限信息。2. 适用于简单的权限体系。1. 可能返回大量无关文档，影响性能。2. 需要在查询后处理权限信息，增加了实现复杂度。

根据我的需求和场景，对性能要求较高，我们使用召回前过滤。如果希望简化查询过程，页可以考虑使用召回后过滤。
下面是在文档的权限格式，包含文档有权限的用户ID和部门ID

"privilege": {
     "data": [
         {
             "type": "staff",
             "id": "xxxx"
         },
         {
             "type": "department",
             "id": 1
         }
     ]
 }

我们在设计索引mapping时

{
  "mappings": {
    "properties": {
      "privilege": {
        "properties": {
          "data": {
            "type": "nested",
            "properties": {
              "type": {
                "type": "keyword"
              },
              "id": {
                "type": "keyword"
              }
            }
          }
        }
      }
    }
  }
}

查询权限过滤参数：

GET /your_index/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match\_all": {}
        }
      ],
      "filter": [
        {
          "nested": {
            "path": "privilege.data",
            "query": {
              "bool": {
                "must": [
                  {
                    "term": {
                      "privilege.data.type": "staff"
                    }
                  },
                  {
                    "term": {
                      "privilege.data.id": "xxxx"
                    }
                  }
                ]
              }
            }
          }
        },
        {
          "nested": {
            "path": "privilege.data",
            "query": {
              "bool": {
                "must": [
                  {
                    "term": {
                      "privilege.data.type": "department"
                    }
                  },
                  {
                    "term": {
                      "privilege.data.id": "1"
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
  }
}
搜索行为日志收集

需要满足用户搜索历史记录，首先需要收集用户搜索行为日志。

#mermaid-svg-RGDIHV3yG6IIeTHR {font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .error-icon{fill:#552222;}#mermaid-svg-RGDIHV3yG6IIeTHR .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-RGDIHV3yG6IIeTHR .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-RGDIHV3yG6IIeTHR .marker{fill:#333333;stroke:#333333;}#mermaid-svg-RGDIHV3yG6IIeTHR .marker.cross{stroke:#333333;}#mermaid-svg-RGDIHV3yG6IIeTHR svg{font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-RGDIHV3yG6IIeTHR .label{font-family:“trebuchet ms”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster-label text{fill:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster-label span{color:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .label text,#mermaid-svg-RGDIHV3yG6IIeTHR span{fill:#333;color:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .node rect,#mermaid-svg-RGDIHV3yG6IIeTHR .node circle,#mermaid-svg-RGDIHV3yG6IIeTHR .node ellipse,#mermaid-svg-RGDIHV3yG6IIeTHR .node polygon,#mermaid-svg-RGDIHV3yG6IIeTHR .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-RGDIHV3yG6IIeTHR .node .label{text-align:center;}#mermaid-svg-RGDIHV3yG6IIeTHR .node.clickable{cursor:pointer;}#mermaid-svg-RGDIHV3yG6IIeTHR .arrowheadPath{fill:#333333;}#mermaid-svg-RGDIHV3yG6IIeTHR .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-RGDIHV3yG6IIeTHR .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-RGDIHV3yG6IIeTHR .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-RGDIHV3yG6IIeTHR .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster text{fill:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR .cluster span{color:#333;}#mermaid-svg-RGDIHV3yG6IIeTHR div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-RGDIHV3yG6IIeTHR :root{–mermaid-font-family:“trebuchet ms”,verdana,arial,sans-serif;}

输入关键词

写入日志

用户

服务端

Mysql

通过收集用户搜索关键词存储在MySQL，每日定时任务统计热词和联想词来实现热门搜索榜和搜索联想词。

搜索热词设计

通过收集用户搜索词来统计热搜词， 其中热搜词的热度通过统计搜词词频来统计，统计包括热度周期，T+n 天的搜词次数排序，可以设计一个热度公式。

  1. 初始热度权重： w （默认1）
  2. 单位时间词频： c ：(时间单位可以是 分钟、小时、天等，例如：以天为单位统计）
  3. 统计时间段数：T：（例如：连续统计30天关键词搜索频次）
  4. 单位时间热度： w / T（每个单位时间热度权重）
  5. 距离当前时间单位： n （例如计算最近30天，昨天的单位为：0）
    一个词热度计算公式：
    hot = [（T - 0）* c0 + (T - 1) * c1 + （T-2) * c2 + … + (T-n) * cn] * （w / T）
    我们以按天统计，统计30天为例，每天的访问词频从近到远为： c0, c1, c2, … cn ( n 从0到29)， 热度默认权重：1，时间段 T = 30（最近30天）
    hot = [(30 - 0) * c0 + (30 -1) * c1 + (30-2)*c2 + … + (30 - 29) * c29] * 1 / 30
    => (30 * c0 + 29 * c1 + 28 * c2 + …+ c29) / 30
    化简后可以得到热度公式：

h

o

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

  • (T-n) * cn] * （w / T）
    我们以按天统计，统计30天为例，每天的访问词频从近到远为： c0, c1, c2, … cn ( n 从0到29)， 热度默认权重：1，时间段 T = 30（最近30天）
    hot = [(30 - 0) * c0 + (30 -1) * c1 + (30-2)*c2 + … + (30 - 29) * c29] * 1 / 30
    => (30 * c0 + 29 * c1 + 28 * c2 + …+ c29) / 30
    化简后可以得到热度公式：

h

o

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-42Hn5Inm-1713161892619)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84167086
关注
专栏目录
搜索引擎设计实用教程(2)-以百度为例
张俊林的博客
11-26 8032
/*版权声明：可以任意转载，转载时请务必标明文章原始出处和作者信息 .*/搜索引擎设计实用教程(2)-以百度为例 　　之二:Spelling Checker拼写检查错误提示(以及拼音提示功能) 　　　　中科院软件所 张俊林　　2005年11月 　　拼写检查错误提示是搜索引擎都具备的一个功能,也就是说用户提交查询给搜索引擎,搜索引擎检查看是否用户输入的拼写有错误,对于中文用户来说一般造成的错误是输入
elasticsearch项目实战
chwensrong的博客
02-13 1503
防京东商城搜索（高亮） 1、工程创建（springboot） 创建过程略 目录结构
从零开发搜索引擎
weixin_62988630的博客
12-20 983
文档内容固定，分词结果也固定，完全可以在预处理阶段把标题和正文的分词好保持在raw_data.txt中，后续创建索引时直接加载分词结果即可，不需要重复进行分词。用户点击搜索框输入查询词之后点击搜索，将会在服务器中检索出所有与查询词相关的文档，并且将这些文档返回到页面上，用户点击搜索结果，就会跳转到文档的详细页面。每一行对应一个文档，有三列，这三列使用\3分割，包含文档的标题，这个文档的url（线上版本的url），正文（去掉html标签）。把相关程度越高的文档排的越前，相关程度越低的文档排的越后。
ElasticSearch：项目实战（1）
A20001230T的博客
08-10 1865
为了加快检索的效率，在查询的时候不会直接从数据库中查询文章，需要在elasticsearch中进行高速检索。③在工程config中创建配置类ElasticSearchConfig用来操作es。文章列表展示与home展示一样，当用户点击某一篇文章，可查看文章详情。④在工程pojo中创建实体类SearchArticleVo。⑤在工程mapper中创建方法用来查询对应的数据库字段。1、使用postman往虚拟机es中创建索引和映射。①创建es-init工程，pom文件如下。⑥在gateway网关中配置当前项目。
ElasticSearch-实战
core815的专栏
07-25 547
版本说明： Windows 10 专业版 elasticsearch-7.1.1（Windows X64） spring-boot 2.1.3.RELEASE PostmanCanary-7.3.5 相关单元测试代码：https://github.com/o99o/SpringBoot_ElasticSearch.git 1 ElasticSearch 介绍 1.1 介绍 E...
Android模拟器图形绘原理(二十二)，Android码农是如何进入腾讯的
m0_66264134的博客
01-26 297
Android系统到模拟器 在Goldfish-openGL下提供了对于EGL，GLES1.1，GLES2.0的相应的编码类，对于其中实现的每一个方法获取到当前gl_encoder_context持有的IOStream，来将数据写入到流之中来进行通信。对于Android系统和模拟器之间的连接是通过HostConnection来实现的。其中的通信实现采用的是QemuPipe。 Android模拟器实现了一种特殊的虚拟设备类来提供宿主系统和模拟器之间非常快速的通信渠道。该种通道的打开连接方式。 首先打开/d
CSDN前1000名博主
热门推荐
无知人生，记录点滴
05-26 8万+
博主 简介 stpeace 排名：1 原创：2166 粉丝：7180 积分：181660 等级：10stpeace的专栏中国本博客供大家交流，欢迎各抒己见。博文中的内容禁止用 yuanmeng001 排名：2 原创：5286 粉丝：10660 积分：170616 等级：10袁萌专栏无穷小微积分倡导者–北大教授null老师 yjclsx 排名：3 原创：162...
【Golang】各厂三年go面经，来一起写写答案，欢迎评论区留下您的身影！！！
码农印象
05-27 3870
常见面试问题记录 包含的公司：映客、好未来、猿辅导、知乎、高德、滴滴、字节、腾讯、美团、格步科技、旷视科技、网易、新浪、百度、小米、京东云、伴鱼； 前面是汇总，各家公司面经在后面，大而全，是我一个月的全部面试记录，整体看下来问题是比较基础的，基本都是远程面试。 rpc微服务框架 mq底层数仓 runtime包里面的方法 redis过期策略和内存淘汰策略 sql索引优化问题 一个update语句的执行过程 go的profile工具？ http和tcp有什么区别 用netstat看tcp连接的时候有关注过tim
2020年前端面试复习必读精选文章，必看!!
webqianduan1的博客
07-06 2991
建议收藏文章，结合复习导图食用，效果更佳。 1. JavaScript 基础 1.1 执行上下文/作用域链/闭包 理解 JavaScript 中的执行上下文和执行栈 JavaScript深入之执行上下文栈 一道js面试题引发的思考 JavaScript深入之词法作用域和动态作用域 JavaScript深入之作用域链 发现 JavaScript 中闭包的强大威力 JavaScript闭包的底层运行机制 我从来不理解JavaScript闭包，直到有人这样向我解释它... ..
2020年前端面试复习必读精选文章【赠复习导图】
xb's area
04-10 3608
前言 之前写过一篇 一年半经验如何准备阿里巴巴前端面试，给大家分享了一个面试复习导图，有很多朋友说希望能够针对每个 case 提供一个参考答案。 写答案就算了，一是精力有限，二是我觉得大家还是需要自己理解总结会比较好。 给大家整理了一下每个 case 一些还算不错的文章吧（还包括一些躺在我收藏夹里的好文章），大家可以自己看文章总结一下答案，这样也会理解更深刻。 并不是所有文章都需要看，希望是一个...
Elasticsearch实战
JAVA拾贝
12-02 1万+
第一课时：Elasticsearch、Kibana安装
ElasticSearch 实战
一舫的博客
02-08 2304
1. 背景 Lucene 是一套信息检索工具包（jar包），不包含搜索引擎系统。包含：索引结构，排序，搜索规则… ElasticSearch 基于 Lucene库 做了一些封装和增强，是一个分布式全文搜索引擎（全文搜索、结构化搜索、分析），可以通过简单的RESTful API来隐藏Lucene的复杂性，从而让全局搜索变得更简单。 2.ElasticSearch安装 JDK1.8，最低要求 ElasticSearch下载 ElasticSearch Head 插件下载 ElasticSearch IK分词
Elasticsearch实战之搜索项目
一心同学的博客
03-11 4838
讲解如何用Elasticsearch制作搜索项目，详细介绍每个步骤的注意点，通过项目的开发而更加巩固我们ES的知识。
Elasticsearch 在项目中的实战(三)
zengliangxi的专栏
05-28 2004
.1  安装数据库同步程序将原有项目数据库数据和ES库连接同步，此处用到工具elasticsearch-jdbc1.安装数据库同步服务 elasticsearch-jdbc将elasticsearch-jdbc-2.3.4.1.zip解压到/opt/aspire/product/search/（解压指令unzip）解压考指令（不包含端口修改等操作）：cd /opt/aspire/product/s...
用Golang写一个搜索引擎（0x01）--- 基本概念
weixin_33743248的博客
04-10 328
从零开始，写一个搜索引擎 （0x01） 第零部分我们已经列了一个提纲了，这一篇文章开始要详细说说了。 搜索引擎基本概念 在说搜索引擎架构分层之前，我们先确定几个搜索引擎的概念。 文档，搜索引擎的基本数据单元，比如一张网页，一个商品，多个文档合在一起就是一个搜索引擎的完整数据 倒排索引，正排索引，存储在搜索引擎内部的数据结构，也是搜索引擎...
从零开发一个简单的搜索引擎-综述
冷山不生云
07-30 602
简述 搜索引擎是一个技术含金量非常高的话题，本着学习和提高的目的，在一个前辈的指点下，之前开发了一个对接Boost官网的站内搜索引擎，在学习和开发的过程中我的收获很大，了解和掌握了很多技术细节，也复习了以前学过但是不是非常熟悉的一些知识。打算把开发的整个过程做一个详细的总结，期间穿插个人对搜索引擎相关技术的总结和理解。 说明 项目中会用到的第三方库： cppjieba ctemplate gfl...
ElasticSearch实战
LMY0210的博客
12-06 1005
ElasticSearch实战
简单Elasticsearch实战（一）介绍
ikiler的博客
05-24 1971
介绍 啰嗦 最近开始学习ETL，顺便做一下笔记，也正好最近想要了解一下大数据方面的工作，学的再多不如实际操作一下，于是便萌生了一个招聘职业分析的想法。本文都是一些简单的实战演练，算是一篇入门文章吧，仅供学习参考（其实是怕自己忘了写个笔记······） Elasticsearch介绍 Elasticsearch 是一个分布式的开源搜索和分析引擎，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Ela
elasticsearch 实战
最新发布
个人博客，记录了本人学习的各种有趣的技术。
11-29 1311
本项目是一个由spring boot 3.0.2在gradle 8.4和java 21的环境下搭建的elasticsearch项目demo，这个项目是基于新版的Elasticsearch Java API 制作的，符合最新的框架要求，由于是运用了Elasticsearch新版的java jar包，所以在查询的时候使用了大量的Stream流式编程和闭包，亦可以作为流式编程的巩固。
Elasticsearch工具包：构建大数据搜索引擎必备
"elasticsearch"标签指的是Elasticsearch搜索引擎，"源码软件"指的是Elasticsearch是开源软件，"大数据"和"big data"指的是Elasticsearch主要应用于大数据领域，"搜索引擎"则是Elasticsearch的主要功能。 【压缩...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值