Python
文章平均质量分 92
Elastic 中国社区官方博客
Elastic 首席布道师,Elastic 认证工程师,认证分析师,认证可观测性工程师,阿里云最有价值专家
展开
-
Kibana:使用 Devtools console 把请求变成 Python 或 Nodejs 的代码
Kibana:使用 Devtools console 把请求变成 Python 或 Nodejs 的代码特别指出,这个最新的 Elastic Stack 8.16 发布版的功能。我很兴奋地来尝试这个功能。在今天的文章中,我们来使用一个例子来进行详细地描述。原创 2024-11-17 09:42:52 · 974 阅读 · 0 评论 -
使用 Elastic Observability 监控 dbt 管道
了解如何使用 Elastic 设置 dbt 监控系统,该系统可主动发出数据处理成本峰值、每张表的行数异常以及数据质量测试失败的警报。在 Elastic 可观察性组织内的数据分析团队中,我们使用 dbt(dbt™,- 数据构建工具)来执行我们的 SQL 数据转换管道。dbt 是一个 SQL 优先的转换工作流,可让团队快速协作地部署分析代码。具体来说,我们使用,你可以在其中从命令行进行开发并运行你的 dbt 项目。原创 2024-10-30 17:26:15 · 900 阅读 · 0 评论 -
使用 Elastic、OpenTelemetry 和 Langtrace 观察 Langchain 应用程序
Langchain 应用程序的使用正在增长。构建基于 RAG 的应用程序、简单的 AI 助手等的能力正在成为常态。观察这些应用程序更加困难。考虑到现有的各种选项,本博客展示了如何将 OpenTelemetry 检测与 Langtrace 结合使用并将其导入 Elastic Observability APM。随着人工智能驱动的应用程序变得越来越复杂,对用于监控和优化其性能的强大工具的需求比以往任何时候都更加重要。LangChain 已迅速成为人工智能开发领域的一个重要框架,特别是用于构建由大型语言模原创 2024-10-20 09:50:31 · 1056 阅读 · 0 评论 -
Elasticsearch:RBAC 和 RAG - 最好的朋友 (二)
在之前的文章 “Elasticsearch:RBAC 和 RAG - 最好的朋友(一)”,我们详细描述了如何使用 RBAC 来控制 RAG 的访问。在今天的文章中,我们来通过一个 jupyter notebook 来描述如何实现这个。原创 2024-05-20 09:37:29 · 1127 阅读 · 6 评论 -
Elasticsearch:让你的 Elasticsearch 索引与 Python 和 Google Cloud Platform 功能保持同步
Elasticsearch 内的索引 (index) 是你可以将数据存储在文档中的位置。 在使用索引时,如果你使用的是动态数据集,数据可能会很快变旧。 为了避免此问题,你可以创建一个 Python 脚本来更新索引,并使用 Google Cloud Platform (GCP) 的 Cloud Functions 和 Cloud Scheduler 进行部署,以便自动保持索引最新。为了使索引保持最新,你可以首先设置一个 Jupyter Notebook 在本地进行测试,并创建一个脚本框架,该脚本框架将原创 2024-03-19 11:59:04 · 1109 阅读 · 0 评论 -
Elasticsearch:从 ES|QL 到 Python 数据帧
在我之前的文章 “Elasticsearch:ES|QL 查询展示”,我展示了如何在 Kibana 中使用 ES|QL 对索引来进行查询及统计。在很多的情况下,我们需要在客户端中来对数据进行查询,那么我们该怎么办呢?我们需要使用到 Elasticsearch 的客户端。在今天的文章中,我们来展示如何使用 Python 来对数据进行查询。原创 2024-03-06 12:59:49 · 1059 阅读 · 0 评论 -
Elasticsearch:使用查询规则(query rules)进行搜索
在之前的文章 “Elasticsearch 8.10 中引入查询规则 - query rules”,我们详述了如何使用 query rules 来进行搜索。这个交互式笔记本将向你介绍如何使用官方 Elasticsearch Python 客户端来使用查询规则。 你将使用 query rules API 将查询规则存储在 Elasticsearch 中,并使用 rule_query 查询它们。原创 2024-02-11 19:15:35 · 2126 阅读 · 6 评论 -
Elasticsearch:基本 CRUD 操作 - Python
在我之前的文章 “Elasticsearch:关于在 Python 中使用 Elasticsearch 你需要知道的一切 - 8.x”,我详细讲述了如何建立 Elasticsearch 的客户端连接。我们也详述了如何对数据的写入及一些基本操作。在今天的文章中,我们针对数据的 CRUD (create, read, update 及 delete) 做更进一步的描述。原创 2024-02-05 09:50:11 · 1328 阅读 · 0 评论 -
Elasticsearch:升级到 elasticsearch-py 8.x 的 10 个理由
公司早在 2022 年 2 月,当 Elasticsearch 8.0 发布时,Python 客户端也发布了 8.0 版本。它是 7.x 客户端的部分重写,并附带了许多不错的功能(概述如下),但也有弃用警告和重大更改。如今,7.17 版客户端仍然相对受欢迎,每月下载量超过 100 万次,约占。根据我作为 urllib3 维护者的经验,我知道投资并帮助用户迁移是有回报的。同样,我们现在正在努力通过删除弃用警告和重大更改来使 elasticsearch-py 8.x 更易于使用。原创 2024-01-09 12:01:04 · 1329 阅读 · 0 评论 -
Elasticsearch:Search tutorial - 使用 Python 进行搜索 (二)
本实践教程将教你如何使用 Elasticsearch 构建完整的搜索解决方案。 在本教程中你将学习:如何对数据集执行全文关键字搜索(可选使用过滤器)如何使用机器学习模型生成、存储和搜索密集向量嵌入如何使用 ELSER 模型生成和搜索稀疏向量如何使用 Elastic 的倒数排名融合 (RRF) 算法组合上述方法的搜索结果原创 2024-01-04 17:36:08 · 1286 阅读 · 0 评论 -
Elasticsearch:Search tutorial - 使用 Python 进行搜索 (一)
本实践教程将教你如何使用 Elasticsearch 构建完整的搜索解决方案。 在本教程中你将学习:如何对数据集执行全文关键字搜索(可选使用过滤器)如何使用机器学习模型生成、存储和搜索密集向量嵌入如何使用 ELSER 模型生成和搜索稀疏向量如何使用 Elastic 的倒数排名融合 (RRF) 算法组合上述方法的搜索结果原创 2024-01-04 16:23:03 · 2277 阅读 · 0 评论 -
Elasticsearch:关于在 Python 中使用 Elasticsearch 你需要知道的一切 - 8.x
Elasticsearch 是一个非常强大的搜索引擎,使用非常广泛。本文的重点是使用 Python 批量创建 Elasticsearch 文档。我们仅仅触及了 Elasticsearch 搜索查询的皮毛。我有专门的文章介绍 Elasticsearch的 基本查询和高级查询,用于搜索和分析。Elasticsearch 原生语言中使用的查询与 Python 中使用的查询相同。因此,当你掌握了Kibana中的原生查询后,你就可以在Python中自由使用了。原创 2023-01-16 19:53:27 · 7168 阅读 · 4 评论 -
Elasticsearch:如何将 Strava 数据导入 Elastic Stack
我们现在在 Elasticsearch 中有我们的活动数据。这很棒,因为它允许我们做比你在 Strava 中做的更多的可视化和向下钻取。另外,如您所见,上手超级容易!借助一点 Kibana 的魔力,这个仪表板显示了我去年几个月的痛苦分数(suffer score)、我最喜欢的运动是什么以及我每周进行了多少活动。这不是很棒吗?翻译 2022-11-30 09:24:48 · 1210 阅读 · 0 评论 -
Elasticsearch:如何在 Django 中使用 Elasticsearch
你是否正在构建需要搜索海量数据集的 Django 应用程序? 你可能正在考虑使用标准关系数据库。 但是你很快就会发现,在处理高级需求时,此解决方案可能会很慢且有问题。 这就是 Elasticsearch 的用武之地。这是 Django 的 Elasticsearch 教程,可帮助你在项目中充分利用这个方便的搜索引擎。为什么要使用 Elasticsearch?在海量数据库上运行搜索引擎的应用程序经常面临这个问题:检索产品信息的时间太长。这反过来又会导致糟糕的用户体验,从而对应用程序作为数字产品原创 2021-09-13 14:31:30 · 6400 阅读 · 4 评论 -
Elasticsearch:使用 Python 进行 Bulk insert 及 Scan
在本文章中,我将展示如何使用 Python 来对索引进行 Bulk写入。在单个 BulkAPI 调用中执行多个索引或删除操作。 这减少了开销并且可以大大提高索引速度。在今天的展示中,我将使用 Jupyter 来进行演示。如果你对 Jupyter 还不是很熟的话,请参阅我之前的文章 “Elasticsearch:使用 Jupyter Notebook 创建 Python 应用导入 CSV 文件”。首先,我们来创建一个叫做 bulk 的 notebook。jupyter notebook我..原创 2021-09-08 09:50:49 · 3010 阅读 · 0 评论 -
Elasticsearch:Analyzer 在 Python 中的运用
在今天的文章中,我来介绍如何在 Python 中使用 Analyzer。有关 Analyzer 的文章,请参考 “Elastic:菜鸟上手指南” 中的 “中文分词器介绍” 部分介绍。安装我们首先来安装 Elasticsearch 及 Kibana。你可以参考“Elastic:菜鸟上手指南” 中的文章来安装 Elasticsearch 及 Kibana。你可以参考文章 “Elasticsearch:IK 中文分词器” 来安装 IK 中文分词器。千万要记得安装分词器后,要重新启动 Elastics.原创 2021-09-07 11:36:39 · 1343 阅读 · 0 评论 -
Elasticsearch:从零开始安装 Elasticsearch 并使用 Python 装载一个 CSV 并读写它
本文提供了一个简短的简单指南,介绍如何设置您的第一个Elasticsearch开发环境,以便快速进行并开始探索/利用技术提供的功能。简介将基于Elasticsearch提供的最重要的API,这些API是获取数据和执行查询的基础。第二个目的是提供文档和其他有趣资源的链接,以了解其他潜在的操作方面,其他出色的功能和各种工具。目标受众可以是个人数据分析师或Web开发人员,具有相关数据用例且已经听说...原创 2019-12-13 20:57:58 · 3087 阅读 · 2 评论 -
Elasticsearch:运用 Python 来实现对搜索结果的分页
在今天的文章中,我将展示如何使用 Python 语言来针对搜索结果进行分页处理。我将使用 Jupyter 来进行展示。在我之前的文章 “Elasticsearch:使用 Jupyter Notebook 创建 Python 应用导入 CSV 文件” 中,我展示了如何使用 Jup...原创 2021-05-23 10:20:30 · 2455 阅读 · 2 评论 -
Elasticsearch:使用 Jupyter Notebook 创建 Python 应用导入 CSV 文件
在开发 Python 应用时,经常会使用到 Jupyter 来完成 Python 应用的开发及调试。简而言之,Jupyter Notebook 是以网页的形式打开,可以在网页页面中直接编写代码和运行代码,代码的运行结果也会直接在代码块下显示。如在编程过程中需要编写说明文档,可在同一个页面中直接编写,便于作及时的说明和解释。在今天的文章中,我将使用 Jupyter 来进行展示。今天我就一个简单的例子来进行展示如何使用 Python 语言导入一个 CSV 文件 。这个 CSV 的文件很简单,但是我们通过这.原创 2021-05-20 18:48:42 · 5936 阅读 · 9 评论 -
Elasticsearch:使用 Python 实现 Web Scraper
在今天的文章里,我们来介绍如何使用Python来访问Elasticsearch。如果大家对Elasicsearch的安装及使用还不是很熟的话,建议看我之前的博客文章:如何在Linux,MacOS及Windows上进行安装Elasticsearch,并熟悉Elasticsearch的最基本的使用:开始使用Elasticsearch (1)/(2)/(3)。在今天的文章中,我们来介绍如何使用Pyt...原创 2019-08-27 05:44:19 · 2348 阅读 · 0 评论