INFINI Labs-CSDN博客

原创【第3期】2024 搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读 - 下篇

张磊，极限科技搜索引擎研发负责人，对 Elasticsearch 和 Lucene 源码比较熟悉，目前主要负责公司的 Easysearch 产品的研发以及客户服务工作。本次分享将探讨 Elasticsearch 的代码结构及其写入和查询流程。内容包括：项目架构、核心模块、插件系统，以及文档索引和查询的各个阶段与分布式查询协调。

2024-08-22 01:16:27 575

原创 Easysearch x 《黑神话悟空》有奖征文获奖结果公示

随着《黑神话：悟空》游戏的正式发售，我们 INFINI Labs 组织的 Easysearch 有奖征文大赛也圆满落幕。恭喜以上获奖作者，你们的作品不仅展现了 Easysearch 的强大功能，也为社区成员提供了宝贵的学习资源。请继续关注 INFINI Labs，我们将持续为大家带来更多优质的产品和精彩的活动。

2024-08-21 08:20:03 243

原创 INFINI Labs 产品更新 | Easysearch 1.8.3 依赖项安全升级

INFINI Labs 产品又更新啦~，包括 Easysearch v1.8.3、Gateway、Console、Agent、Loadgen v1.26.1。本次各产品更新了很多亮点功能，如 Easysearch 优化 source_reuse 内存占用；Console 进行了事件部分代码重构；Gateway/Agent/Loadgen 同步更新 framework 并发布新版本。

2024-08-19 01:18:26 981

原创使用极限网关实现 ES 跨集群搜索

这次的分享就到这里了，相信大家也看到了极限网关是非常灵活的。欢迎与我一起交流 ES 的各种问题和解决方案。

2024-08-18 20:49:55 568

通过本文的实践操作，我们成功地在 AWS EKS 平台上部署了 Easysearch 服务，验证了其在云环境中的高效运行能力。从 EKS 集群的配置、存储和网络资源的准备，到最终的 Easysearch 部署与测试，整个过程展示了如何利用 AWS 提供的工具和服务，快速构建企业级搜索引擎解决方案。通过这次部署，我们不仅了解了 Easysearch 在 Kubernetes 环境中的部署方法，还深入体验了 AWS EKS 平台的强大功能。

2024-08-17 14:29:08 630

原创 Elasticsearch 磁盘空间异常：一次成功的故障排除案例分享

分片大小差不多的情况下，节点 76 的分片数还比别的节点还少 10 个左右，它的磁盘空间反而多占用了 8TB。这是不是太奇怪了？事出反常必有妖，继续往下查。这次的分享就到这里了，欢迎与我一起交流 ES 的各种问题和解决方案。

2024-08-12 00:39:23 353

原创【第2期】2024 搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读

张磊，极限科技搜索引擎研发负责人，对 Elasticsearch 和 Lucene 源码比较熟悉，目前主要负责公司的 Easysearch 产品的研发以及客户服务工作。本次分享将探讨 Elasticsearch 的代码结构及其写入和查询流程。内容包括：项目架构、核心模块、插件系统、与 Lucene 的集成，以及文档索引和查询的各个阶段与分布式查询协调。

2024-08-07 00:59:32 559

原创活动回顾 | 2024 搜索客社区 Meetup 首期线上直播活动圆满结束，附 PPT 下载

2024 年 7 月 31 日，由搜索客社区和极限科技（INFINI Labs）联合举办的首期线上 Meetup 技术交流直播活动圆满结束。本次直播活动吸引了超过 300 人次的技术爱好者参与，共同探讨了 Easysearch、大模型、RAG 等前沿技术和实践应用，为广大搜索技术爱好者提供了一个宝贵的学习和交流平台。

2024-08-06 00:55:25 960

原创喜报 | 极限科技入选北京市 2024 年第一批科技中小企业名单

极限科技深知，创新是企业发展的不竭动力，入选科技型中小企业名单，这既是对我们过去努力的肯定，也是对未来发展的激励。公司也将继续坚定不移地走自主创新的道路，持续加大科研投入，开发出更高效的产品与解决方案，努力成为行业内的领军企业。科技型中小企业是指依托一定数量的科技人员从事科学技术研究开发活动，取得自主知识产权并将其转化为高新技术产品或服务，从而实现可持续发展的中小企业。展望未来，极限科技将以此次入库为契机，进一步加强与政府、行业、高校及研究机构的合作与交流，共同推动科技创新与产业升级的深度融合。

2024-08-01 21:58:25 415

原创使用 Easysearch 打造企业内部知识问答系统

大家可能都有这样的经历，刚入职一家企业时，同事往往会给你分享一些文档资料，有可能是产品信息、规章制度等等。这些文档有的过于冗长，很难第一时间找到想要的内容。有的已经有了新版本，但员工使用的还是老版本。基于这种背景，我们可以利用 Easysearch 加 LLM 实现一个内部知识的 QA 问答系统。这个系统将利用 LangChain 框架调用本地部署的大模型和 Easysearch，实现理解员工的提问，并基于最新的文档，给出精准答案。

2024-07-29 22:36:07 776

原创 Easysearch、Elasticsearch、Amazon OpenSearch 快照兼容对比

在当今的数据驱动时代，搜索引擎的快照功能在数据保护和灾难恢复中至关重要。本文将对 Easysearch、Elasticsearch 和 Amazon OpenSearch 的快照兼容性进行比较，分析它们在快照创建、恢复、存储格式和跨平台兼容性等方面的特点，帮助大家更好地理解这些搜索引擎的差异，从而选择最适合自己需求的解决方案。

2024-07-28 22:58:48 895

原创【活动预告】Easysearch 结合大模型实现 RAG

在这个人工智能飞速发展的时代，ChatGPT 和 GPT-4 的出现无疑为人类带来了前所未有的震撼。我们不禁思考：通用人工智能的奇点是否真的即将来临？而最前沿的 AI 技术与最实用的落地应用之间的距离，又该如何缩短？为了深入探讨这些问题，我们特别邀请到了极限科技（INFINI Labs）高级解决方案架构师、《老杨玩搜索》栏目 B 站 UP 主——杨帆先生，为我们带来一场主题为 “Easysearch 结合大模型实现 RAG” 的精彩演讲。杨帆。

2024-07-26 23:24:27 849

原创极限科技闪耀 2024 可信数据库发展大会，多款自研产品引领搜索技术新纪元

INFINI Pizza 的研发初衷是为了满足更多复杂场景下的搜索需求，通过不断的技术创新与优化，它采用了先进的设计理念和架构实现，通过自有专利解决海量数据无限伸缩的需求，利用最新的算法和数据结构来充分释放现代硬件的威力，能够实现高效、准确的实时数据搜索能力，满足核心业务场景高并发低延迟的需求，为企业提供可靠性的实时搜索基础底座。在 TDBC 2024 大会上，极限科技的负责人表示：“随着数据量的不断增长和业务场景的日益复杂，搜索技术将面临更多的挑战和机遇。

2024-07-25 02:12:59 751

原创《搜索型数据库白皮书》正式发布，极限科技荣登贡献单位榜单

搜索型数据库白皮书》的发布，将为我国搜索型数据库产业的持续健康发展提供有力支撑。同时，也期待更多像极限科技这样的优秀企业能够加入到这一行列中来，共同推动中国乃至全球搜索型数据库技术的繁荣发展。未来，极限科技将继续专注于搜索型数据库技术的研发与创新，为用户提供更加优质、稳定、高效、安全的数据搜索服务和分析体验。白皮书从搜索型数据库的发展历程、核心技术、关键特性、应用场景等多个维度进行介绍，对搜索型数据库的的整体发展现状以及未来演进趋势进行了概括总结，为技术创新、企业决策提供参考。7 月 17 日下午，在。

2024-07-22 23:53:04 302

原创极限科技荣耀入选《中国数据库产业图谱（2024年）》，引领搜索与分析型数据库新篇章

公司负责人表示：“我们将继续秉承‘自主、创新、引领’的发展理念，加大研发投入，深化技术创新，不断推出更加先进、更加适用的数据库产品和服务。7 月 16-17 日，由中国信息通信研究院（以下简称“中国信通院”）、中国通信标准化协会主办，中国通信标准化协会大数据技术标准推进委员会承办，InfoQ 联合主办的"展望未来，极限科技将继续以用户需求为导向，以技术创新为驱动，不断突破技术瓶颈，拓展应用场景，为全球用户提供更加优质、高效的数据库解决方案。图：极限科技荣誉入选中国信通院《中国数据库产业图谱（2024年）》

2024-07-22 02:43:34 349

原创使用 Elasticsearch Python SDK 查询 Easysearch

Easysearch 虽然没有专门的 Python SDK，但完全兼容 ES 7.x 的 Python SDK 客户端，这为开发者提供了极大的便利。通过使用 ES 7.x Python SDK，开发者可以轻松地使用 DSL 和 SQL 语法对 Easysearch 进行查询和数据操作。兼容性强：无需修改现有代码，即可从 ES 迁移到 Easysearch。功能全面：支持 DSL 查询、SQL 查询、批量操作等高级功能。易于使用：提供简洁明了的 API，降低学习成本。

2024-07-20 15:27:02 742

原创喜报！极限科技再获国家发明专利：《一种超大规模分布式集群架构的数据处理方法》，引领大数据处理技术创新

这项名为"一种超大规模分布式集群架构的数据处理方法"的专利（专利号：ZL 2024 1 0479402.8）于 2024 年 7 月 12 日正式获得授权，彰显了极限科技在大数据处理技术领域的创新实力。拓扑管理节点还可拓展为多层结构，便于超大集群管理，增强集群的容错性。此项专利的获得，是公司多年来持续创新、不断追求技术突破的结果，将为公司在大数据处理领域的技术应用和市场拓展提供强有力的支持。未来，公司将继续加大研发投入，不断提升核心竞争力，为客户提供更高效、更可靠的大数据处理解决方案，推动行业技术进步。

2024-07-19 03:40:09 269

原创 Easysearch 新特性：写入限流功能介绍

通过本次测试对比，可以看出限流的好处：有效控制写入压力：写入限流功能能够有效限制每个节点和每个 Shard 的写入吞吐量，防止因写入量过大而导致系统资源被过度消耗的问题。降低系统资源占用：在限流前，某数据节点的 CPU 占用率约为 10%。限流后，CPU 占用率显著降低至约 5%，减少了约 50%。这表明在高并发写入场景下，写入限流功能显著降低了系统的 CPU 负载。提高系统稳定性：通过控制写入吞吐量，避免了频繁的 Full GC 和节点掉线问题，从而提升了系统的整体稳定性和可靠性。

2024-07-17 09:19:42 644

原创玩转 Easysearch 语法

是一个基于 Apache Lucene 的开源分布式搜索和分析引擎，它被广泛应用于全文搜索、结构化搜索和分析等多种场景中。作为 Elasticsearch 的国产化替代方案，Easysearch不仅保持了与原生 Elasticsearch 的高度兼容性，还在功能、性能、稳定性和扩展性方面进行了全面提升。对于开发团队来说，从 Elasticsearch 切换到 Easysearch 不需要做任何业务代码的调整，确保了无缝衔接和平滑迁移。

2024-07-16 20:09:05 881

原创 Easysearch 数据可视化和管理平台：INFINI Console 使用介绍

上次在《》中，我们部署了两个节点的 Easysearch，并设置了 Console 进行集群监控。今天，我们将介绍的使用。

2024-07-11 02:33:28 829

原创 INFINI Easysearch 尝鲜 Hands on

这两个服务使用相同的 Docker 镜像 infinilabs/easysearch:latest 来组成双节点的集群。容器运行时使用用户和组 ID 602:602。设置了 ES_JAVA_OPTS 环境变量以配置 Java 虚拟机的内存。ulimits 选项配置了内存锁定和文件描述符的限制，以提升性能。容器内的配置、数据和日志目录通过卷映射到主机目录中，以便于数据持久化。服务暴露特定端口，使外部能够访问容器中的服务。两个节点均加入名为 esnet 的自定义网络中。

2024-07-11 01:39:36 608

原创回顾 DTC 2024 大会——聚焦数据技术创新：揭秘下一代纯实时搜索引擎 INFINI Pizza

而 INFINI Pizza 正是为了满足这一需求而诞生的创新产品，它采用了先进的设计理念和架构实现，通过自有专利解决海量数据无限伸缩的需求，利用最新的算法和数据结构来充分释放现代硬件的威力，能够实现高效、准确的实时数据搜索能力，满足核心业务场景高并发低延迟的需求，为企业提供可靠稳定的实时搜索基础底座。在为期两天的活动中，来自业界的 80 余位杰出技术领袖、学术精英、行业实践者以及生态布道者齐聚一堂，共同探讨数据技术的最新趋势、前沿应用与创新实践。带来了令人瞩目的演讲，他详细介绍了。

2024-07-08 00:49:56 317

原创从OpenAI停服看中国市场：国产替代崛起的机遇与挑战

这一事件引发了国内开发者和企业的广泛讨论，特别是在人工智能技术应用逐渐深入的背景下，OpenAI 的停服无疑会对中国市场产生一定的影响。其次，推动 Elasticsearch 的国产化替代有助于激发国内企业的创新活力，减少对国外技术的依赖，提升在搜索和大数据领域的核心竞争力。然而，2024 年 6 月 25 日，许多中国用户收到了一封来自 OpenAI 的邮件，邮件中明确表示，自 2024 年 7 月 9 日起，OpenAI 将停止对中国内地和香港地区提供 API 服务。

2024-07-05 03:53:35 925

原创搜索型数据库的技术发展历程与趋势前瞻

随着数字科技的飞速发展和信息量的爆炸性增长，搜索引擎已成为我们获取信息的首选途径之一，典型的代表厂商如 Google。然而，随着用户需求的不断演变，传统的搜索技术已经无法满足人们对信息的实时性、个性化和多样性的需求。在企业内部，这种需求更加显著。随着企业数字化转型的持续深化，非结构化数据正日益成为各类组织数据增长的主要来源，也是数据体系中至关重要的组成部分，蕴含着巨大的价值。如何高效地存储和利用非结构化数据的重要性也日益凸显。企业需要更高效地管理和检索内部的海量数据，以支持业务决策和运营需求。

2024-07-02 18:03:54 502

原创邀请函 | 极限科技全新搜索引擎 INFINI Pizza 亮相 2024 可信数据库发展大会！

过去一年，在全球 AI 浪潮和国家数据局成立的推动下，数据库产业变革不断、热闹非凡。2024 年，站在中国数字经济产业升级和数据要素市场化建设的时代交汇点上，，大会将以 “自主、创新、引领” 为主题，以期进一步推动全球数据库产业进步，共同开创可信数据库行业的新时代。届时，将于 7 月 17 日下午在发表主题演讲，主要介绍下一代纯实时搜索新引擎的设计思路与软件架构的思考以及复杂场景下的搜索需求和挑战，敬请期待！

2024-07-01 02:13:11 517

原创喜报 | 极限科技获得北京市“创新型”中小企业资格认证

2024年6月20日，北京市经济和信息化局正式发布《关于对2024年度4月份北京市创新型中小企业名单进行公告的通知》，极限数据（北京）科技有限公司凭借其出色的创新能力和卓越的企业实力，成功获得“北京市创新型中小企业”的殊荣。北京市“创新型中小企业”的殊荣，是对极限数据（北京）科技有限公司在创新领域卓越成就的肯定。这一荣誉不仅彰显了企业拥有完善的创新机制，更凸显了其在技术创新引领下的全面而持续的创新能力，涵盖了技术、品牌、制度、管理、文化等多个维度。

2024-06-30 16:30:33 628

原创喜报！极限科技新获得一项国家发明专利授权：“搜索数据库的正排索引处理方法、装置、介质和设备”

近日，极限数据（北京）科技有限公司（简称：极限科技）新获得一项国家发明专利授权，专利名为 “搜索数据库的正排索引处理方法、装置、介质和设备”，专利号：ZL 2024 1 0479400.9，授权日为 2024 年 6 月 21 日，标志着极限科技在数据库搜索技术领域的自主创新能力再次得到国家级认可。

2024-06-23 13:56:47 406

原创 INFINI Labs 助力开源与教育：免费许可证计划全面升级

作为 Elasticsearch 的国产化替代方案，提供高度兼容性与卓越性能，满足企业级需求。：轻量级多集群、跨版本搜索基础设施统一管控平台，助力企业高效管理搜索集群。：专为 Elasticsearch 打造的高性能应用网关，提供丰富的功能特性与卓越性能。：支持多种搜索引擎的轻量级压测工具，为企业提供强大的数据加载与测试能力。：引领实时搜索时代的新星，为企业提供高效、准确的实时数据搜索解决方案。

2024-06-20 09:41:31 485

原创极限网关助力好未来 Elasticsearch 容器化升级

极限网关提供一系列高性能和高可靠性的网关服务。可观测性好：极限网关可以动态的对 Elasticsearch 运行过程中请求进行拦截和分析，通过指标和日志来了解集群运行状态，这些指标可以用于提升性能和业务优化。增强安全性：包含先进的安全机制，如 basicauth、LDAP 等支持，保护用户数据不受未授权访问和各种网络威胁的侵害。高稳定性：通过冗余设计和故障转移机制，极限网关能够确保网络服务的高可用性，即使在某些组件发生故障时也能保持服务不中断，单版本最长服务超过 15 个月。易于管理：通过提供。

2024-06-13 13:20:39 911

原创 INFINI Labs 产品更新 | Easysearch 1.8.2 发布优化 CCR 性能

INFINI Labs 产品又更新啦~，包括 Easysearch v1.8.0、Gateway、Console、Agent、Loadgen v1.25.0。本次各产品更新了很多亮点功能，如 Easysearch 新增数据写入限流功能，可实现节点、分片级限流；Gateway 修复数据迁移过程中因消费不及时解压缩导致部分数据记录损坏而丢失记录问题，进一步提升 Gateway 稳定性；

2024-06-10 13:38:04 1061

原创 INFINI Labs 产品更新 | Easysearch 1.8.0 发布数据写入限流功能

INFINI Labs 产品又更新啦~，包括 Easysearch v1.8.0、Gateway、Console、Agent、Loadgen v1.25.0。本次各产品更新了很多亮点功能，如 Easysearch 新增数据写入限流功能，可实现节点、分片级限流；Gateway 修复数据迁移过程中因消费不及时解压缩导致部分数据记录损坏而丢失记录问题，进一步提升 Gateway 稳定性；

2024-05-19 20:19:41 845

原创记某客户的一次无缝数据迁移

通过将应用端流量走网关的方式，请求同步转发给自建 ES，网关记录所有的写入请求，并确保顺序在云端 ES 上重放请求，两侧集群的各种故障都妥善进行了处理，从而实现透明的集群双写，实现安全无缝的数据迁移。通过使用极限网关，自建 ES 集群可以安全无缝的迁移到移动云 ES，在迁移的过程中，两套集群通过网关进行了解耦，两套集群的版本也可以不一样，在迁移的过程中还能实现版本的无缝升级。如果验证完之后，两个集群的数据已经完全一致了，可以将程序切换到新集群，或者将网关的配置里面的主备进行互换，同步写 5.6 集群。

2024-04-02 16:37:06 553

空空如也

空空如也