![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
INFINI Easysearch
文章平均质量分 87
INFINI Labs
极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。追求极致,无限可能!
展开
-
INFINI Labs 产品更新 | Easysearch 1.8.0 发布数据写入限流功能
INFINI Labs 产品又更新啦~,包括 Easysearch v1.8.0、Gateway、Console、Agent、Loadgen v1.25.0。本次各产品更新了很多亮点功能,如 Easysearch 新增数据写入限流功能,可实现节点、分片级限流;Gateway 修复数据迁移过程中因消费不及时解压缩导致部分数据记录损坏而丢失记录问题,进一步提升 Gateway 稳定性;原创 2024-05-19 20:19:41 · 851 阅读 · 0 评论 -
记某客户的一次无缝数据迁移
通过将应用端流量走网关的方式,请求同步转发给自建 ES,网关记录所有的写入请求,并确保顺序在云端 ES 上重放请求,两侧集群的各种故障都妥善进行了处理,从而实现透明的集群双写,实现安全无缝的数据迁移。通过使用极限网关,自建 ES 集群可以安全无缝的迁移到移动云 ES,在迁移的过程中,两套集群通过网关进行了解耦,两套集群的版本也可以不一样,在迁移的过程中还能实现版本的无缝升级。如果验证完之后,两个集群的数据已经完全一致了,可以将程序切换到新集群,或者将网关的配置里面的主备进行互换,同步写 5.6 集群。原创 2024-04-02 16:37:06 · 555 阅读 · 0 评论 -
从 Redis 开源协议变更到 ES 国产化:一次技术自主的机遇
Redis 开源协议的变更和 Elasticsearch 国产化解决方案的兴起,共同反映了当前技术世界中开源与商业、国际与国产之间复杂而微妙的关系。这一趋势不仅仅是技术领域的变化,更是全球化背景下,各国在技术自主、安全与发展方面所做出的战略性调整。随着更多开源项目和技术面临类似的挑战,我们或许可以预见,技术自主和开源创新将成为推动未来技术发展的两大关键力量。原创 2024-04-01 08:19:07 · 1733 阅读 · 0 评论 -
Easysearch 内核完善之 OOM 内存溢出优化案例一则
最近某客户在使用 Easysearch 做聚合时,报出 OOM 导致掉节点的问题,当时直接让客户试着调整,但是不起作用,于是又看了下 Easysearch 在断路器相关的代码,并自己测试了下。原创 2024-03-11 21:14:07 · 980 阅读 · 0 评论 -
用 Easysearch 帮助大型车企降本增效
最近某头部汽车集团需要针对当前 ES 集群进行优化,背景如下:ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用,合计超 50 余套集群,累计数据超 1.5PB。本文针对其中一个 ES 集群进行分享,该集群原本使用的是 ES 7.3.2 免费版,数据已经 130TB 了,14 个节点。写入数据时经常掉节点,写入性能也不稳定,当天的数据写不完。迫切需要新的解决方案。分析业务场景后总结需求要点:主要是写,很少查。审计需求,数据需要长期保存。原创 2024-02-03 14:18:50 · 1045 阅读 · 0 评论 -
Easysearch:语义搜索、知识图和向量数据库概述
语义搜索是一种使用自然语言处理算法来理解单词和短语的含义和上下文以提供更准确的搜索结果的搜索技术。旨在更好地理解用户的意图和查询内容,而不仅仅是根据关键词匹配,还通过分析查询的语义和上下文来提供更准确和相关的搜索结果。传统的关键词搜索主要依赖于对关键词的匹配,而忽略了查询的含义和语境。但语义搜索的优点在于它可以更好地满足用户的意图,尤其是对于复杂的查询和问题。它能够理解查询的上下文,处理模糊或不完整的查询,并提供更相关和有用的搜索结果。原创 2024-01-26 15:27:25 · 1182 阅读 · 0 评论 -
INFINI Easysearch 与华为鲲鹏完成产品兼容互认证
华为鲲鹏认证是华为云围绕鲲鹏云服务(含公有云、私有云、混合云、桌面云)推出的一项合作伙伴计划,旨在为构建持续发展、合作共赢的鲲鹏生态圈,通过整合华为的技术、品牌资源,与合作伙伴共享商机和利益,助力合作伙伴与华为联合打造基于鲲鹏的联合解决方案,改变国产 IT 长期低附加值与高定制化的现状,重塑国产 IT 生态体系。据了解,面向不同的招商展示需求,如何应用华为云服务,让技术更好地实现可视化以满足客户要求,展现高质量展示效果,是本测试的重点。原创 2023-11-30 11:33:07 · 487 阅读 · 0 评论 -
使用 Java 客户端通过 HTTPS 连接到 Easysearch
将 ca 证书添加到应用程序信任库中,表示应用程序信任由此 CA 签署的任何证书。原创 2023-11-26 21:22:31 · 213 阅读 · 0 评论 -
大量索引场景下 Easysearch 和 Elasticsearch 的吞吐量差异
最近有客户在使用 Elasticsearch 搜索服务时发现集群有掉节点,并且有 master 收集节点信息超时的日志,节点的负载也很高,不只是 data 节点,master 和协调节点的 cpu 使用率都很高,看现象集群似乎遇到了性能瓶颈。查看了 Hot_threads, 发现大量线程被权限验证相关的类和方法占用,主要在 RBACEngine 和 AuthorizationService 两个类。并且不止协调节点和数据节点,master 节点居然也有那么多权限验证的操作?原创 2023-11-25 21:46:33 · 610 阅读 · 0 评论 -
通过 Canal 将 MySQL 数据实时同步到 Easysearch
Canal 同步的是增量数据,不会同步之前的存量数据。要同步存量数据可参考《使用 Logstash 同步 MySQL 到 Easysearch》原创 2023-11-17 16:37:26 · 316 阅读 · 0 评论 -
Easysearch 容量规划建议
大概需要 40 个数据节点来处理每秒 2 万的搜索请求,平均响应时间为 50 毫秒,每个节点有 16 个线程。这是一种经济高效的方法,用于存储大量数据,同时优化了对较新数据的性能。总数据节点数 = ROUNDUP(总存储 GB / (每个数据节点的内存 * 内存/数据比例)) + 1(用于故障转移)线程池大小 = 向上取整((每个节点的物理核心数 * 每个核心的线程数 * 3 / 2) + 1)峰值线程数 = 向上取整(每秒的峰值搜索次数 * 平均搜索响应时间(毫秒) / 1000 毫秒)原创 2023-10-27 14:21:06 · 122 阅读 · 0 评论 -
Easysearch Chart 0.2.0都有哪些变化
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。原创 2023-10-10 22:57:30 · 487 阅读 · 0 评论 -
基于 Easysearch kNN 搭建即时图片搜索服务
通过这个简单的基于Easysearch kNN 搜索服务网页,我们可以方便地上传图像文件,进行搜索操作,并以瀑布流的形式展示搜索结果。原创 2023-08-18 09:31:58 · 90 阅读 · 0 评论 -
Easysearch 跨版本兼容性测试,还原 Elasticsearch 各版本快照数据
本文主要验证 Elasticsearch 快照在中进行数据恢复。原创 2023-06-17 13:15:05 · 237 阅读 · 0 评论 -
INFINI Labs 产品更新 | Easysearch 新增跨集群复制 (CCR)、支持快照生命周期管理 (SLM) 功能等
INFINI Labs 产品重量级更新!!!本次更新了很多亮点功能,如 Easysearch 新增跨集群复制 (CCR)、支持快照生命周期管理 (SLM) 功能等;支持多集群、跨版本的搜索基础设施统一管控平台 Console 新增了免费授权申请功能等。欢迎大家下载使用。(用户名/密码:readonly/readonly)。原创 2023-06-10 16:37:13 · 115 阅读 · 0 评论 -
INFINI Labs 产品更新 | 重磅推出 Easysearch v1.1
INFINI Labs 产品更新啦,其中重要产品【INFINI Easysearch】正式亮相,100% 自主可控,内嵌压缩算法极大节省硬件成本,日志存储占用直接砍半。Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10.2 版本。欢迎大家下载体验和反馈。原创 2023-05-16 18:08:26 · 368 阅读 · 0 评论 -
使用 Easysearch,日志存储少一半
在海量日志存储场景中,索引膨胀率是一个关键指标,直接影响存储成本和查询性能。它表示原始数据与索引数据在磁盘上所占空间的比率。较高的索引膨胀率不仅增加了存储成本,而且可能会影响查询速度,尤其是在 I/O 密集型的查询中。因此,我们需要密切关注和优化索引膨胀率。接下来,我们将比较 Elasticsearch 和 Easysearch 在处理相同数据时的索引膨胀率。原创 2023-05-16 17:59:03 · 121 阅读 · 0 评论