- 博客(1743)
- 收藏
- 关注
原创 Elasticsearch:使用 OpenAI 生成嵌入并进行向量搜索 - nodejs
在我之前的文章:Elasticsearch:使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation。我详细地描述了如何使用 LangChain 及 OpenAI 进行向量搜索及 RAG。在那篇文章中,它没有用户界面。在今天的文章中,我将展示如何使用 OpenAI 来把数据进行向量化(不是使用 Elastic Stack 提供的 eland 上传模型的方式。
2023-12-13 17:07:36 376
原创 活动预告 | 微盟技术沙龙 - Elasticsearch 在微盟的实践 12/21/2023
1、Elasticsearch 使用建议:介绍在使用 Elasticsearch 进行数据搜索和分析时,应该遵循的一些规范和建议,包括es架构的选择、索引结构的设计、查询语句的优化、写入优化等等,以提高 Elasticsearch 的性能、可靠性、安全性和可维护性。二、ES在业务场景中的使用建议:通过一些建模的方法论,如何在一个业务选型中,进行合适的 ES 建模,业务研发,需要关注哪些场景,该从什么角度去做一些评估和选择,如何有效的设置一些索引。3、字段类型选择,ES 查询的核心问题,常踩坑的地方。
2023-12-12 17:09:46 338
原创 Elasticsearch:使用 Elasticsearch 向量搜索及 RAG 来实现 Chatbot
Elasticsearch 的向量搜索为我们的语义搜索提供了可能。而在人工智能的动态格局中,检索增强生成(Retrieval Augmented Generation - RAG)已经成为游戏规则的改变者,彻底改变了我们生成文本和与文本交互的方式。RAG 使用大型语言模型 (LLMs) 等工具将信息检索的能力与自然语言生成无缝结合起来,为内容创建提供了一种变革性的方法。在本文中,我们将使用 Elasticsearch 的向量搜索并结合 OpenAI 大模型来实现 RAG。
2023-12-12 06:25:56 859 2
原创 Elasticsearch:为现代搜索工作流程和生成式人工智能应用程序铺平道路
Elastic 的创新投资支持开放的生态系统和更简单的开发者体验。在本博客中,我们希望分享 Elastic® 为简化你构建 AI 应用程序的体验而进行的投资。我们知道,开发人员必须在当今快速发展的人工智能环境中保持灵活性。然而,常见的挑战使得构建生成式人工智能应用变得不必要的僵化和复杂。灵活的工具可帮助你快速适应、响应变化并加速你的项目。这就是为什么 Elastic 建立在 Apache Lucene 的基础上,提供最好的开放代码向量数据库和搜索引擎。
2023-12-11 20:22:31 1256
原创 Elasticsearch:向量数据库的真相
通过工作示例了解什么是向量数据库、它们如何实现 “相似性” 搜索以及它们可以在明显的 LLM 空间之外的哪些地方使用。除非你一直生活在岩石下,否则你可能听说过诸如和(LLM)之类的术语。除此之外,你很有可能听说过,它为 LLMs 的查询提供上下文。有没有想过它们是什么以及它们在明显的 LLM 领域之外有何用处?好吧,请继续阅读以了解这项令人兴奋的新技术,构建您自己的向量数据库并思考如何在你的项目中利用它,包括但不限于 LLMs。
2023-12-10 08:40:01 1191 2
原创 Elasticsearch:什么是检索增强生成 (RAG)?
检索增强生成 (RAG) 是一种利用来自私有或专有数据源的信息来补充文本生成的技术。 它将旨在搜索大型数据集或知识库的检索模型与大型语言模型 (LLM) 等生成模型相结合,后者获取该信息并生成可读的文本响应。检索增强生成可以通过添加来自其他数据源的上下文并通过培训补充 LLMs 的原始知识库来提高搜索体验的相关性。 这增强了大型语言模型的输出,而无需重新训练模型。 其他信息来源的范围包括 LLM 未受过培训的互联网上的新信息、专有业务背景或属于企业的机密内部文件。RAG 对于问答和内容生成等任务
2023-12-08 18:01:24 2393
原创 Apache Lucene 9.9,有史以来最快的 Lucene 版本
Apache Lucene 的开发一直充满活力,但在过去的几个月中,查询评估的优化数量特别多。没有一项优化是可以单独挑选出来的,而是围绕机械同情心(对底层硬件和系统特性的理解是通过多方面的改进来实现的,而不是依赖于单一的优化方法)和改进算法的许多改进的组合。的实际加速,旨在跟踪代表现实世界的查询的性能。Lucene 9.9 刚刚发布,预计将集成到很快发布的 Elasticsearch 8.12 中。这里特别有趣的是,这些优化不仅有利于一些非常具体的情况,它们还转化为 Lucene。
2023-12-08 16:06:51 437 1
原创 Elastic Support Hub 转向语义搜索
我们很高兴与大家分享 Elastic Support Hub 最近的增强功能:它现在由语义搜索提供支持!但在我们更详细地了解对 Elastic® Support Hub 所做的更改及其对客户的影响之前,我们需要花点时间解释语义搜索的概念,这一点很重要。从本质上讲,语义搜索是一种使用人工智能返回更相关的搜索结果的搜索方法。观看这个解释这个概念的图片:如上所示,语义搜索将用户搜索内容的意图与可用内容而不是单词相匹配。你可以在我们的博客中了解有关其背后 AI 的更多信息。本博客的其余部分讲述了有关将。
2023-12-08 15:46:29 277
原创 Elastcsearch:通过 Serverless 提供更多服务
人们使用 Elasticsearch® 解决最大数据挑战的方式一直令我们感到惊讶。从超过 40 亿次下载、70,000 次提交、1,800 名贡献者以及我们全球社区的反馈中可以清楚地看出这一点。Elastic® 在广泛的用例中发挥的作用促使我们简化复杂性,让搜索变得更容易,并充分利用我们所有的解决方案。这就是为什么我们很高兴能够通过新的无服务器 (serverless) 架构扩展 Elasticsearch 的可能性。
2023-12-07 09:00:32 489
原创 Elasticsearch:向量搜索的优势 — 以及 IT 领导者需要它来改善搜索体验的 5 个原因
向量搜索将文本、音频和图像转换为数字表示,并利用深度学习和机器学习 (ML) 来解释这些表示的含义、意图和上下文,以提供更相关的搜索结果。
2023-12-06 20:40:45 245
原创 Elasticsearch:什么是机器学习?
计算机科学家和人工智能创新者 Arthur Samuel 在 20 世纪 50 年代首次将其定义为 “赋予计算机无需明确编程即可学习能力的研究领域”。机器学习涉及将大量数据输入计算机算法,以便它们能够学习识别该数据集中的模式和关系。然后,算法开始根据分析做出自己的预测或决策。当算法接收到新数据时,它们会继续完善自己的选择并提高其表现,就像一个人通过练习在某项活动中变得更好一样。
2023-12-06 18:48:36 943 2
原创 Elasticsearch:什么是情感分析?
情感分析应用自然语言处理(NLP)、计算语言学和机器学习来识别数字文本的情感基调。 这使得组织能够识别对其品牌、产品、服务或想法的积极、中立或消极情绪。 最终,它使企业能够更好地了解客户,从而为企业提供可行的见解。作为情感分析的一个例子,流媒体平台可以通过社交媒体帖子的文本分析来确定一系列节目的受欢迎程度。 在这种情况下,情绪分析使主播能够了解公众对内容的看法是积极、中立还是消极。 情绪分析的结果为平台提供了可行的见解:取消剧集、续订剧集或做出不同的演员和/或创意招聘决策。
2023-12-05 16:51:56 188
原创 ELasticsearch:什么是语义搜索?
语义搜索是一种解释单词和短语含义的搜索引擎技术。语义搜索的结果将返回与查询含义匹配的内容,而不是与查询中的单词字面匹配的内容。语义搜索是一组搜索引擎功能,其中包括根据搜索者的意图及其搜索上下文理解单词。此类搜索旨在通过更准确地结合上下文解释自然语言来提高搜索结果的质量。语义搜索借助和等技术,通过将搜索意图与语义进行匹配来实现这一目标。
2023-12-05 14:42:22 593
原创 Elasticsearch:评估 RAG - 指标之旅
2020年,Meta发表了一篇题为 “知识密集型NLP任务的检索增强生成” 的论文。本文介绍了一种通过利用外部数据库将语言模型 (LLM) 知识扩展到初始训练数据之外的方法。从那时起,这种方法引起了研究人员的极大关注,并且由于其巨大的好处仍然是一个突出且备受讨论的话题。这些优点包括易于更新知识数据库、使较小的模型能够在特定任务上匹配较大模型的性能、允许生成泛化到训练数据之外的领域、减少幻觉的发生等等。所有这些实验和发现总是围绕着测量模型在给定任务上的性能。
2023-12-04 15:40:26 667
原创 Elasticsearch:什么是向量数据库?
向量嵌入是主题、单词、图像或任何其他数据的数字表示。向量嵌入(也称为嵌入)由大型语言模型和其他人工智能模型生成。每个向量嵌入之间的距离使向量数据库或向量搜索引擎能够确定向量之间的相似性。距离可以代表数据对象的多个维度,从而使机器学习和人工智能能够理解模式、关系和底层结构。了解如何部署文本嵌入更多关于向量嵌入的知识,请阅读文章 “Elasticsearch:什么是向量嵌入?
2023-12-03 21:17:08 1101 1
原创 Elasticsearch:什么是大语言模型(LLM)?
转换器模型是大型语言模型最常见的架构。它由编码器和解码器组成。转换器模型通过对输入进行标记来处理数据,然后同时进行数学方程以发现标记之间的关系。这使得计算机能够看到人类在给出相同查询时会看到的模式。Transformer 模型采用自注意力机制,这使得模型能够比长短期记忆模型等传统模型更快地学习。自注意力使 Transformer 模型能够考虑序列的不同部分或句子的整个上下文,以生成预测。为了解决 LLMs 当前的局限性,Elasticsearch 相关性引擎 (ESRE)
2023-12-03 20:18:48 1059
原创 Elasticsearch:什么是向量嵌入?
向量嵌入 (vector embeddings) 是一种将单词、句子和其他数据转换为捕获其含义和关系的数字的方法。它们将不同的数据类型表示为多维空间中的点,其中相似的数据点更紧密地聚集在一起。这些数字表示可以帮助机器更有效地理解和处理这些数据。和句子嵌入是向量嵌入的两种最常见的子类型,但还有其他子类型。一些向量嵌入可以表示整个文档,以及旨在匹配视觉内容的图像向量、用于确定用户偏好的用户配置文件向量、帮助识别相似产品的产品向量等等。向量嵌入可帮助算法找到数据中的模式并执行、语言翻译、推荐系统等任务。
2023-12-02 10:21:36 1395
原创 Elasticsearch:什么是自然语言处理(NLP)?
自然语言处理 (natural language processing - NLP) 是人工智能 (AI) 的一种形式,专注于计算机和人们使用人类语言进行交互的方式。NLP 技术帮助计算机使用我们的自然交流模式(语音和书面文本)来分析、理解和响应我们。自然语言处理是计算语言学的一个子专业。计算语言学是一个跨学科领域,结合了计算机科学、语言学和人工智能来研究人类语言的计算方面。
2023-12-02 09:43:41 1415
原创 公共部门生成式人工智能的未来
最近,我与 IDC Government Insights 研究副总裁阿德莱德·奥布莱恩 (Adelaide O’Brien) 坐下来讨论了全球公共部门生成式人工智能的当前和未来状况。完整的对话可以,但我也想强调讨论中的一些要点。我们的目标是讨论我们现在看到的用例、公共组织面临的障碍,并交流组织如何利用生成式人工智能为员工、选民和更大的数字化转型带来的价值的最佳实践。
2023-12-02 09:16:40 121
原创 了解 ignore_above 参数对 Elasticsearch 中磁盘使用的影响
首先,我们创建一个名为 “test_index” 的索引,其中包含三个字段:“field_ignore_above_4”、“field_ignore_above_256” 和 “field_ignore_above_512”。这对于限制字段的大小以避免性能问题很有用。从响应中,我们可以看到 field_ignore_above_256 和 field_ignore_above_512 的总大小相同,均为 30 字节。响应显示 “field_ignore_above_4” 被忽略。上面是不显示任何的文档的。
2023-12-01 15:18:09 682
原创 Elasticsearch 如何处理 Aggs 顺序中的大写字母和小写字母?
Elasticsearch 排序允许你根据特定条件对搜索结果进行排序。然而,在排序时处理区分大小写时,Elasticsearch 将大写和小写字母视为不同的字符,分别对它们进行排序。这是因为 ASCII 表顺序是从大写 A 到小写 z。默认情况下,Elasticsearch 按以下顺序对字符串进行排序:首先是数字,然后是大写字母,最后是小写字母。
2023-12-01 13:33:09 424
原创 Elasticsearch:使用 ILM 示例运行降采样 (downsampling)
如果你对降采样还不是很熟的话,请阅读之前的文章 “Elasticsearch:对时间序列数据流进行降采样(downsampling)”。这是一个简化的示例,可让你快速了解降采样如何作为 ILM 策略的一部分来减少一组采样指标的存储大小。该示例使用典型的 Kubernetes 集群监控数据。以下展示是使用最新的 Elastic Stack 8.11 来进行的。
2023-11-30 16:59:13 421
原创 Elasticsearch:对时间序列数据流进行降采样(downsampling)
降采样提供了一种通过以降低的粒度存储来减少时间序列数据占用的方法。指标(metrics)解决方案收集大量随时间增长的时间序列数据。随着数据老化,它与系统当前状态的相关性越来越小。降采样过程将固定时间间隔内的文档汇总为单个摘要文档。每个摘要文档都包含原始数据的统计表示:每个指标的(value_count) 和(average)。数据流时间序列维度存储不变。实际上,降采样可以让你用数据分辨率和精度来换取存储大小。你可以将其包含在中,以自动管理指标数据的数量和相关成本。
2023-11-30 12:45:42 719
原创 Elasticsearch 快照如何工作?
快照是正在运行的 Elasticsearch 集群的备份。定期备份集群,无需停机删除或硬件故障后恢复(recover)数据集群之间传输数据通过在热、冷和冻结数据层中使用可搜索快照来降低存储成本。
2023-11-29 16:14:18 417
原创 Elasticsearch:向量搜索 (kNN) 实施指南 - API 版
本指南重点介绍通过 HTTP 或 Python 使用 Elasticsearch API 设置 Elasticsearch 以进行近似 k 最近邻 (kNN) 搜索。对于主要使用 Kibana 或希望通过 UI 进行测试的用户,请访问使用 Elastic 爬虫的语义搜索入门指南。你也可以参考文章 “ChatGPT 和 Elasticsearch:OpenAI 遇见私有数据(二)”。如果你想切入主题并在 Jupyter Notebook 中运行一些代码,我们可以为你提供随附的 no
2023-11-28 16:22:07 2527 3
原创 Elasticsearch:什么是非结构化数据?
非结构化数据通常被归类为定性数据,可以是人类或机器生成的。非结构化数据是最丰富的可用数据类型,经过分析后,可用于指导业务决策并在许多其他用例中实现业务目标。非结构化数据通常以其本机格式存储。这增加了将这些数据转化为可操作的见解的挑战。虽然非结构化数据比结构化数据处理起来更具挑战性,但它通常也包含结构化数据中所没有的丰富、详细的信息。因此,许多组织正在投资机器学习 (ML) 和自然语言处理 (NLP) 等技术,以更好地分析非结构化数据并从中获取见解。
2023-11-27 22:24:46 755
原创 Elasticsearch:LangChain 是什么?
当你将应用程序称为 “AI(人工智能)” 时,这通常意味着它包含与学习模型(例如大型语言模型,或 LLM)的交互。[不那么]有趣的事实是,LLM 的使用实际上并不是使应用程序变得智能的原因。它的特殊之处在于实时使用神经网络。碰巧 LLM 是使用神经网络构建的。人工智能应用程序通常实时处理数据。这意味着,虽然它拥有大量预先训练的知识,但它可以在数据被提交到应用程序时接收数据并为 LLM 提供最新信息。“人工智能应用程序” 的替代方案包括使用机器学习模型。
2023-11-26 23:33:56 2987 6
原创 Elasticsearch:ES|QL 查询中的元数据字段及多值字段
在今天的文章里,我来介绍一下 ES|QL 里的元数据字段以及多值字段。我们可以利用这些元数据字段以及多值字段来针对我们的查询进行定制。
2023-11-26 08:02:07 901 3
原创 Elasticsearch:ES|QL 查询展示
这篇文章是继我昨天完成的文章 “Elasticsearch:ES|QL 函数及操作符” 的另外一篇文章。我将继续使用之前文章 “” 中的例子来结合 ES|QL 函数来做更进一步的展示。希望能对之前的文章做一个更进一步的展示。在这里,我将主要使用 Dev Tools 来进行展示。:在进行如下的例子之前,你需要至少安装 Elastic Stack 8.11 及以上版本。
2023-11-25 09:24:30 1007
原创 Elasticsearch:ES|QL 函数及操作符
ES|QL 提供了一整套用于处理数据的函数和运算符。本文详细地介绍了各种运用于 ES|QL 在查询中所使用到的函数!
2023-11-23 18:46:55 1108
原创 Elasticsearch:将最大内积引入 Lucene
目前,Lucene 限制 dot_product (点积) 只能在标准化向量上使用。归一化迫使所有等于一。虽然在许多情况下这是可以接受的,但它可能会导致某些数据集的相关性问题。一个典型的例子是构建的嵌入(embeddings)。它们的向量使用幅度来提供更多相关信息。那么,为什么不允许点积中存在非归一化向量,从而实现最大内积呢?有什么大不了的?
2023-11-22 16:56:28 1183 1
原创 Elasticsearch:FMA 风格的向量相似度计算
乘法和加法是一种常见的运算,它计算两个数字的乘积并将该乘积与第三个数字相加。这些类型的操作在向量相似度计算期间反复执行。融合乘加 (FMA) 是一种单一运算,可同时执行乘法和加法运算 - 乘法和加法被称为“融合”在一起。FMA 通常比单独的乘法和加法更快,因为大多数 CPU 将其建模为单个指令。FMA 还可以产生更准确的结果。浮点数的单独乘法和加法运算有两轮;一个用于乘法,一个用于加法,因为它们是单独的指令,需要产生单独的结果。
2023-11-22 16:14:14 869
原创 【活动通知】2023 Elastic Meetup 北京站将于12月2日下午1点30在北京召开
2023 Elastic Meetup 北京站》活动将于12月2日下午1点30 在北京市海淀区西北旺东路10号腾讯北京总部大楼213会议室举办,届时将有行业专家及知名企业分享他们在 Elasticsearch 应用中的经验与观点,带来最前沿的技术分享与思想碰撞。
2023-11-20 21:54:52 328 2
原创 Elasticsearch 和 LangChain 合作开发可用于生产的 RAG 模板
在过去的几个月里,我们一直与 LangChain 团队密切合作,他们在推出 LangServe 和 LangChain 模板方面取得了进展!LangChain Templates 是一组用于构建生产质量的生成式 AI 应用程序的参考架构。你可以在此处阅读有关的更多信息。之一。Elasticsearch 具有生产质量的功能,开发人员可以使用它来构建有趣的。
2023-11-20 07:45:21 605
原创 Elasticsearch:通过摄取管道加上嵌套向量对大型文档进行分块轻松地实现段落搜索
向量搜索是一种基于含义而不是精确或不精确的 token 匹配技术来搜索数据的强大方法。然而,强大的向量搜索的文本嵌入模型只能按几个句子的顺序处理短文本段落,而不是可以处理任意大量文本的基于 BM25 的技术。现在,Elasticsearch 可以将大型文档与向量搜索无缝结合。
2023-11-18 08:35:02 560
原创 Elasticsearch:运用向量搜索通过图像搜索找到你的小狗
你是否曾经遇到过这样的情况:你在街上发现了一只丢失的小狗,但不知道它是否有主人?了解如何在 Elastic Stack 中使用向量搜索或图像搜索来做到这一点。
2023-11-16 12:43:01 864
原创 Workplace Search 的演变:使用 Elasticsearch 搜索你的私人数据
Workplace Search 功能将来将与 Elastic Search 合并。这是你需要了解的内容。生成式人工智能技术的最新进展为搜索带来了一系列可能性。随着开发人员构建新的体验,用户正在采用新的搜索使用方式 —— 从用自然语言编写的搜索查询到通过上传图像或语音样本进行搜索。在 Elastic®,我们一直致力于确保 Elasticsearch® 拥有开发人员构建现代搜索所需的正确机器学习工具。
2023-11-16 09:27:23 320
原创 Kibana:作为非设计师设计直观的 Kibana 仪表板
开发人员、SRE 工程师和才华横溢的技术人员通常需要构建快速仪表板来展示有关其应用程序状态的重要信息,这些信息可供混合受众使用。 如果你不是前端开发人员或设计师,那么构建所有人都可以理解和使用的直观仪表板而不会有过多信息会让人感到害怕。 特别是如果你觉得自己不具备同事的艺术设计天赋,你会感觉自己错过了他们头脑中隐含的那套关键规则。作为一名前端工程师,我很幸运能够与设计师和用户一起工作,学习如何构建直观的体验,而不会让用户陷入信息过载,并直接访问他们需要的重要信息。 我还帮助指导和培训后端工程师可视化最佳
2023-11-15 09:10:39 363 1
原创 Kibana:使用 “链接” 面板简化 Kibana 仪表板导航 - Links panel
我们很高兴地宣布 Kibana® 仪表板的最新功能版本:链接面板,这是在仪表板之间组织和导航的简单方法。此功能在 Kibana 8.11 的技术预览版中提供。有时你可能希望创建多个主题相关的仪表板并将它们相互链接。这是效果的更好方法,可以生成更小、更可用且性能更高的仪表板。在其他情况下,你可能希望创建一个索引,最终用户可以在其中找到一起列出的所有相关仪表板。Kibana 中的链接面板 - links panel。
2023-11-15 08:36:01 202
原创 Elasticsearch:ES|QL 快速入门
目前的最新发型办为 Elastic Stack 8.11。Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。
2023-11-14 20:58:47 321
04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
2024-04-01
03-AI Assistant - 李捷 武汉 2024.03.30
2024-04-01
02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
2024-04-01
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
2024-04-01
04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
2024-01-08
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
2024-01-08
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
2024-01-08
01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024
2024-01-08
02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
2023-12-22
01-微盟 Elasticsearch 运维实践
2023-12-22
03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
2023-12-03
01-Elasticsearch Relevance Engine - meetup 11.16 2023
2023-11-17
02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
2023-11-17
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
2023-10-23
03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023
2023-10-23
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
2023-10-23
01-Elasticsearch Relevance Engine meetup 上海 10.21 2023
2023-10-23
04-腾讯云大数据 Elasticsearch 开启 Serverless 新范式 meetup 成都 8.19 2023
2023-08-19
02-Elasticsearch AI 大模型搜索引擎介绍与演示 meetup 成都 8.19 2023
2023-08-19
01-Vector search 及 Elastic NLP meetup 成都 8.19 2023
2023-08-19
持续进化,腾讯云大数据Elasticsearch 服务 开启 Serverless 新范式
2023-08-09
Elasticsearch 和 ChatGPT 的力量:利用生成式 AI 彻底改变搜索应用程序
2023-07-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人