- 博客(53)
- 收藏
- 关注
RSS订阅原创 5. Prototype to Production ——【Google 5-Day AI Agents】
将 AI 原型落地为生产系统，本质是一场需要新运营规范 ——AgentOps 支撑的组织变革。多数 AI 智能体项目折戟 “最后一公里”，根源并非技术不足，而是自主系统的运营复杂性被低估。要弥合这一差距，需遵循清晰路径：先以 “人员与流程” 筑牢治理根基；再靠 “评估控制部署” 的预生产策略，实现高风险发布自动化；上线后，通过 “观察→行动→进化” 循环，把每次用户交互转化为优化洞见以备后续优化；最后借互操作性协议，将孤立智能体打造成协作生态，完成系统规模化。
2025-12-05 17:57:24
924
原创 4. Agent Quality ——【Google 5-Day AI Agents】
在 AI 智能体（Agent）技术飞速发展的今天，如何让具备自主性与非确定性的智能体突破传统软件质量模型的局限，成为企业可信赖的工具？本文将整合白皮书核心内容，拆解智能体质量保障的 “飞轮体系” 与三大核心原则，为落地企业级智能体提供行动蓝图。飞轮的第一步是锁定目标 —— 以 “四大质量支柱” 为具体标准，而非抽象的 “好与坏”。例如，为客服智能体设定 “有效性” 指标为 “用户问题解决率≥90%”，“安全性” 指标为 “敏感信息泄露率 = 0”，让后续评估有明确依据。
2025-12-02 16:33:55
1100
原创 3. Context Engineering: Sessions & Memory ——【Google 5-Day AI Agents】
*核心主题：**聚焦上下文工程（），明确其两大核心组成部分为 “会话（Sessions）” 与 “记忆（Memory）”，强调该工程通过将对话历史、记忆、外部知识等必要信息动态整合到 LLM 的上下文窗口中，实现从简单对话交互到持久化、可行动智能的转化，且整个过程依赖会话与记忆两大系统的相互作用。核心角色：负责 “当下” 交互，是单轮对话的低延迟、按时间顺序排列的容器。主要挑战：需平衡性能与安全 —— 性能上要求低延迟访问，需通过令牌截断、递归总结等提取技术压缩会话历史或请求载荷，避免上下文窗口溢出。
2025-11-29 17:43:21
1134
原创 2. Agent Tools & MCP ——【Google 5-Day AI Agents】
name：工具的唯一标识符title(可选) ：用于显示的人类可读名称：人类&模型可理解的功能说明：JSON结构的入参说明(可选)：JSON结构的出参说明(可选)：描述工具行为的属性name和为核心参数，决定了 Agent 发现并调用 Tool 的时机和效果。"title": "股票价格查询工具","description": "根据特定股票代码查询股票价格。若提供“date”（日期）参数，则返回该日期的最新价格或收盘价；若未提供，则返回最新股价。",
2025-11-27 10:44:36
755
原创 1. Agent 介绍 ——【Google 5-Day AI Agents】
AI Agent 定义：Model(模型) TOOLS(工具) Orchestration-Layer(编排) Runtime -Services (运行服务) 四个要素的结合。Model(大脑): 处理信息、评估选项、做出抉择Tools(双手): API拓展、调用代码函数、与外部知识(数据库)连接Orchestration Layer(神经系统): 任务规划(React)、管理记忆、决策调度(think-action-observe)Deployment(躯干): 托管部署、监控、日志记录等。
2025-11-25 19:20:44
694
原创 LangGraph 实现过程和两种结构
当一项任务有特定的成功标准，但需要通过迭代来满足该标准时，评估器-优化器工作流通常会被采用。模型生成，模型评估，通过则结束，不通过则返回模型生成继续。: 具有预先确定的代码路径，并且设计为按特定顺序运行。Agent 通常是通过大型语言模型（LLM）借助。: 动态性，能自主定义自身流程和工具使用方式。, 一个模型决策，一个。
2025-11-21 19:36:42
660
原创 Skills -Claude
包含指令(instructions)脚本(scripts)资源(resources)的文件夹。指令：md文件中的文字指令脚本：python脚本或者bash命令资源：参考资料当Claude判定用户需求与某个Skill功能适配，就会加载阅读它的指令并执行脚本。它是对的一种约束和抽象，是对主agent执行某一特定任务的全方面指导。SKILL 是一种理念，一种规范：- 技术人员不要把它想的很简单(没有技术上的难点，但是理念很重要- 非技术人员也不要把它想的很复杂(没有技术上的门槛，只要理念正确)
2025-11-19 19:34:29
1020
原创 es实战-数据备份snapshot
灾备相关知识点RPO： 最多可能丢失的数据的时长，即我们可以将数据恢复到什么时候，并且越接近现在（崩溃/丢失点）越好。RTO： 从灾难发生到整个系统恢复正常所需要的最大时长。好的RPO实现： 频繁增量备份好的RTO实现： 加快从快照恢复数据速度ES snapshot 注意事项可在kibana的Snapshot and Restore功能模块进行操作不同快照间为增量式快照(节约时间空间)，且删除一个快照不会影响其他快照SLM策略和集群执行保留策略是两个配置可以手动执行策略测试可以moni
2022-03-01 16:32:58
2565
原创 官方文档-恢复快照
对应8.0官方文档路径：Snapshot and restore » Restore a snapshot官方地址如下：https://www.elastic.co/guide/en/elasticsearch/reference/8.0/snapshots-restore-snapshot.html恢复快照本章节主要展示如何恢复一个快照。快照是在集群外部存储数据备份最便捷的方式，你可以在删除或硬件故障后通过快照恢复索引和数据流，你还可以使用快照在集群之间传输数据。在本章节，你将学会以下
2022-02-22 17:09:53
1544
原创 官方文档-创建快照
对应7.17官方文档路径：Snapshot and restore » Create a snapshot官方地址如下：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/snapshots-take-snapshot.html创建快照本章节主要展示如何制作正在运行的集群的快照，之后便可以通过恢复快照 API 恢复或者传输数据。在本章节，你将学会一下内容：使用快照生命周期管理(SLM)自动创建和保留快照手动拍摄快照监控快
2022-02-22 11:04:22
1927
原创 官方文档-快照和恢复
对应7.17官方文档路径： Snapshot and restore官方地址如下：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/snapshot-restore.html快照和恢复快照是正在运行的 ES 集群的备份，你可以使用快照做以下事情：定期备份集群，无需停机在删除数据或者硬件故障后恢复数据在集群之间传输数据在 cold 和 frozen 数据层通过可搜索快照降低存储成本##快照工作流程ES 将快照存储在集
2022-02-22 11:02:38
2101
原创 es实战-使用IK分词器进行词频统计
本文主要介绍如何通过 IK 分词器进行词频统计。使用分词器对文章的词频进行统计，主要目的是实现如下图所示的词云功能，可以找到文章内的重点词汇。后续也可以对词进行词性标注，实体识别以及对实体的情感分析等功能。词频统计服务具体模块如下：**数据输入：**文本信息**数据输出：**词 - 词频(TF-IDF等) - 词性等内容**使用的组件：**分词器、语料库、词云展示组件等**功能点：**白名单，黑名单，同义词等现存的中文分词器有 IK、HanLP、jieba 和 NLPIR 等几种，不同分词器各
2021-12-14 14:23:39
3652
2
原创 官方文档-丰富你的数据-Enrich示例
对应7.16官方文档路径： Ingest pipelines » Enrich your data » Example: Enrich your data xxx官方地址如下：https://www.elastic.co/guide/en/elasticsearch/reference/7.16/geo-match-enrich-policy-type.html在创建 enrich policy 时需要指定enrich policy type，用来明确采用何种方式将 enrich data 匹配到传入
2021-12-13 17:23:58
1494
原创 官方文档-丰富你的数据
对应7.16官方文档路径： Ingest pipelines » Enrich your data官方地址如下：https://www.elastic.co/guide/en/elasticsearch/reference/7.16/ingest-enriching-data.html注：enrich 为 pipeline processor 的一种，主要作用是将现有索引数据加入到你传入的文档中。Enrich 你的数据你可以使用 enrich processor 在 ingest 阶段将现存索引的
2021-12-10 15:51:41
1531
原创 es实战-收集Nginx日志可视化监控
需求场景： ES 集群通过 Nginx 做了网关代理，需要把访问 ES 集群的请求进行统计监控。使用组件： Filebeat 收集，写入 ES 集群，通过 Kibana 的 dashboard 进行展示，即 ELK 的老本行，采用更轻量级的日志收集工具 Filebeat 而没有使用 Logstash。1. Nginx对 Nginx 默认的日志格式进行了微调，将默认的$time_local修改为$time_iso8601，日志变化如下所示：#before171.0.0.1 - - [11/Nov/2
2021-11-25 15:56:55
5141
原创 es实战-数据入库详解refresh，flush，translog
由于这部分内容涉及到很多 Lucene 和操作系统等内容，个人理解可能不到位或者有误，还请各位看客指出存在的问题，不吝赐教1. 重要知识点1. refresh：当我们向ES发送请求的时候，我们发现es貌似可以在我们发请求的同时进行搜索。而这个实时建索引并可以被搜索的过程实际上是一次es 索引提交（commit）的过程，如果这个提交的过程直接将数据写入磁盘（fsync）必然会影响性能，所以es中设计了一种机制，即：先将index-buffer中文档（document）解析完成的segment写到file
2021-10-15 17:28:28
1609
原创 es实战-深入内存以及熔断
在 ES 生产环境中，性能问题一直是各厂商最头疼的问题，而其中的痛点就是内存相关。ES 作为当前搜索引擎市场的 No.1，其显著特点就是检索速度非常快。之所以 ES 检索速度快，离不开其底层的合理存储结构以及对内存的充分利用，其中包括大量的缓存。由于 ES 和其底层依赖的 Lucene 均为内存的使用大户，在生产环境中经常会遇到一些内存相关的问题以及想要优化的欲望，本文主要浅析 ES 内存使用情况和其自带的内存保险——熔断机制。首先我们会分析一些生产环境中遇到的内存相关问题；然后我们会从 JVM 层面以及
2021-10-11 18:49:18
6146
原创 官方文档-数据管理
对应7.13官方文档路径： Data management官方地址如下：https://www.elastic.co/guide/en/elasticsearch/reference/7.13/data-management.html数据管理存储在 ES 中的数据大体分为两种类型：文本内容：需要搜索的数据集合，例如产品列表时间序列数据：连续产生的带有时间戳的数据流，例如日志信息文本内容可能需要频繁的更新，但是文本内容的价值随时间的推移相对稳定。你想要的是快速取回它们而不管它们是多么古老的数
2021-09-28 15:16:12
519
原创 ES 结合 Python 库进行人脸识别
参考链接：ES 官方播客 from Yacine Younes 以及 刘晓国 大佬在 ES 百人大作战一期发布的 4.2.4 章节**前期准备：**Python3 环境、CMake、dlib 库和 face_recognition 等，还需要了解 ES 的向量类型，可以参考本人另一篇文章ES 向量检索 dense_vector 类型需要用到的类和数据很简单，如下图所示：getVectorFromPicture.py 负责将 images 文件内的照片(四人照片)调用 face_recognitio
2021-09-07 15:24:02
649
原创 ES 向量检索 dense_vector 类型
ES 7.X 版本引入了向量类型dense_vector，用于存储浮点类型的密集向量，其最大维度为2048。其用作是可以将待查询向量和文档内存储向量之间的距离作为查询评分使用，即越相似的向量评分越高。使用方式为在 query 的script_score中指定向量的计算方式，具体有四种：cosineSimilarity – 余弦函数dotProduct – 向量点积l1norm – 曼哈顿距离l2norm - 欧几里得距离创建含有dense_vector的索引用于测试，建表如下：PUT c
2021-09-06 17:27:32
6507
2
原创 Flink 消费 Kafka 分区顺序性问题
1. kafka分区数据顺序性kafka具有分区内数据有序的特点，可以通过将数据指定到特定的分区来实现数据的顺序性。kafka分区逻辑代码如下：如果指定了分区号生产，则发送到指定分区；否则调用分区器计算方法partitioner.partition()private int partition(ProducerRecord<K, V> record, byte[] serializedKey, byte[] serializedValue, Cluster cluster) { In
2021-08-30 14:41:46
4269
4
原创 es实战-rebalance功能及源码解析
rebalance tasks在es集群里面的表现形式：通过调用 GET _cat/tasks?v API返回结果中 action 为 internal:index/shard/recovery/start_recovery(不仅仅是rebalance)判断shards移动状况：通过调用 GET _cat/recovery?v API返回结果中 type 为 peer；source_node 和 target_node 可以看出分片移动的方向；stage可以看出移动进行到哪一步: INIT-&g.
2021-08-27 17:37:05
1996
原创 es文档版本控制
GET test1/_doc/1可以获取如下信息："_index" : "test1","_type" : "_doc","_id" : "1","_version" : 5,"_seq_no" : 20797327,"_primary_term" : 2,"found" : true,..._version：文档版本，每次更新文档时递增。_seq_no：配置给文档的序列号用来进行索引操作，用于确保文档的旧版本不会覆盖新版本。_primary_term：配置给文档的主term用来进
2021-08-25 14:22:50
1398
原创 query_string和minimum_should_match歧义问题
1. query_string针对索引不存在字段的处理逻辑变化：如下DLS：语义为查询此字段(索引内不存在)不包含柔的文档。{ "size": 1, "track_total_hits": true, "_source": "text_content", "profile": "true", "query": { "query_string": { "analyzer": "ik_max_word", "query": """(NOT("柔"))"""
2021-08-24 11:11:24
638
1
原创 es存储文件分析
观察es数据目录内会发现大量文件如下图所示：其中重要的有如下几个，存储三大头：文件后缀文件含义.fdt文档存储的字段值.fdx文档索引指针，需载入内存.fnm存储fields信息.dvddocValues值.dvmdocValues原信息.doc包含每个term词频的docs列表即倒排表.posindex中term出现的位置信息.timterm词典，存储term信息.tipterm词典的索引，需载入内存segm
2021-08-20 17:29:57
1819
原创 es实战-Space
本文收录至《Elastic Stack 实战手册》,欢迎和我一起解锁开发者共创书籍，系统学习 Elasticsearch1. Space简介Space 功能可以将 Kibana 划分为多个工作空间，并基于权限控制使不同的用户看到不同的工作空间。空间可管理的对象包含 Dashboards 等可视化内容以及 Kibana 自带的标签页功能如 Dev 和 Monitoring 等。Space 功能默认自动开启，且会自动创建 Default 空间，当创建了其他空间之后，登录 Kibana 时会要求你选择工作
2021-08-20 14:05:01
533
原创 es实战-Monitoring原理讲解及kibana可视化实战
实战结合官方文档进行学习效果更佳，可以参考本人另一篇简书-官方文档-监控集群(Monitor)翻译。Monitoring学习方法：在官方文档与源码阅读基础之上进行实战操作。1 Monitoring原理讲解Monitoring是elastic stack的监控模块，可以用来监控ELKB，监控信息存在es索引中，并且可以通过kibana进行可视化的展示。(收集监控数据的方式从6.5版本起由Collectors-Exporters模式逐步迁移到使用Metricbeat进行收集。)a 官方文档学习任何模块
2021-08-20 14:03:54
2973
原创 es实战-分片分配失败解决方案
分片分配失败的原因线上集群突然断电或者使用了kill -9 pid进行集群关闭磁盘信道损坏使用了错误的配置(小问题，排查副本/分片路由等配置即可)排查解决方案查看未分配的原因GET /_cluster/allocation/explainGET _cat/indices?v&health=redGET /_cat/shards?v&h=n,index,shard,prirep,state,sto,sc,unassigned.reason,unassigned.deta
2021-08-20 14:02:34
4320
原创 入门大数据组件
Google三驾马车，大数据基石：GFS：存储->hdfsMapReduce：分析->hadoopBigtable：查询->hbase(基于GFS结构化存储OLAP： olap：联机分析处理；oltp：联机事务处理MOLAP：预处理，预计算，查询快，不灵活ROLAP：不需要预处理，查询灵活，查询性能不好HOLAP：当查询聚合性数据的时候，使用MOLAP 技术；当查询明细数据时，使用 ROLAP 技术。1. 数仓：ODS -> DW(DM) -> APP
2021-08-20 14:00:36
235
原创 es实战-加载性能优化
本文主要讨论es加载速度的优化,有些优化会导致部分功能及数据安全性丧失，需要理性使用。网络中大部分的性能优化方案基本源于官网，如下位置:以下优化包含但不限于官方文档：整体写入操作影响因子：1. indice相关设置{ "settings": { "number_of_shards": n,//分片尽量设置多一些，能提高加载速度 "number_of_replicas": 0,//副本设置为0，丧失数据安全性 "refresh_interval": "-1",//刷新
2021-08-19 16:56:30
2502
原创 es实战-查询性能优化
本文主要讨论es查询速度的优化。网络中大部分的性能优化方案基本源于官网，如下位置:1. 文档进行建模避免使用nested和parent child类型尽量先计算再将计算结果存储进es尽量使用filter context查询结合profile api分析查询慢的问题严禁使用*开头的terms查询谨慎使用通配符匹配和agg聚合避免terms过多，成百上千2. 定期对不再更新的索引做force merge段数目太多会带来较大的麻烦。1.消耗资源：每一个段都会消耗文件句柄、内存和cpu运行
2021-08-19 16:55:03
1977
原创 es实战-开机自启动
1.编写es启停脚本，如下：注意替换es目录(/home/caster/elasticsearch-7.9.3)以及es启动用户(es)#!/bin/bashsource /etc/profilecase "$1" instart) su es<<! cd /home/caster/elasticsearch-7.9.3 ./bin/elasticsearch -d! echo "elasticsearch startup" ;;stop)
2021-08-19 16:53:35
1497
原创 es实战-集群规划实践
1. Linux系统关闭交换分区，防止内存置换降低性能。将/etc/fstab 文件中包含swap的行注释掉sed -i ‘/swap/s/^/#/’ /etc/fstabswapoff -a单用户可以打开的最大文件数量，可以设置为官方推荐的65536或更大些echo “* - nofile 655360” >> /etc/security/limits.conf单用户线程数调大echo “* - nproc 131072” >> /etc/security/limi
2021-08-19 16:52:59
285
原创 es实战-7.9源码编译
在macos上使用idea编译elasticsearch7.9源码idea通过git导入源码直接通过idea导入git项目，不需要去github下载到本地再自行使用gradle编译，idea可以帮助你快速构建如果idea一直卡在下载gradle-xx-all.zip,可以自行手动下载后放入本地gradle环境，如下图所示：当下载的zip被idea解压成功就会显示解压后的文件夹和.ok文件导入成功后需要将gradle使用的jdk设置为高版本，同时也检查下idea java compiler和pr
2021-08-19 16:51:59
570
3
原创 Elastic Certified Analyst 认证考点介绍
1. ECA考试介绍ECA指elastic公司于2020年6月推出的elastic certified analyst认证考试，主要考察考生对kibana的驾驭能力。报考方式及考试注意事项：官网注册报名 ，缴费PSI系统预约时间考试(注意选择时区),远程在线考试提前15分钟进PSI系统配合监考官检查环境和监考官打字聊天，需要共享桌面语音和摄像头可以使用google翻译，和监考官商量，进去桌面直接浏览器输入谷歌翻译网址即可，也建议使用chrome自带的翻译工具考试系统web界面上有一排
2021-08-19 16:39:24
531
原创 Elastic Certified Engineer 认证考点介绍
1. ECE考试介绍ECE指elastic公司于2018年6月29号推出的elastic certified engineer认证考试。报考方式及考试注意事项：考试版本自2021年7月1日起，由7.2升级为7.13官网注册报名 ，缴费PSI系统预约时间考试(注意选择时区),远程在线考试提前15分钟进PSI系统配合监考官检查环境和监考官打字聊天，需要共享桌面语音和摄像头可以使用google翻译，和监考官商量，进去桌面直接浏览器输入谷歌翻译网址即可，也建议使用chrome自带的翻译工具
2021-08-19 16:34:01
996
原创 Elastic Certified Engineer 德国博士题目
elasticsearch认证工程师考试必备练习题，难度较考试大一些原题连接：https://kreuzwerker.de/en/post/elastic-certified-engineer-exam-deploy-and-operate-a-cluster题库提供者：建议先看题目，自己做一遍。部分解答和题目需求一致但数据可能不同，如解答逻辑有问题，望批评指正#1. 安装配置集群##Exercise1定义集群名字定义三个节点名字所有节点配置为eligible master将节
2021-08-19 16:28:45
342
原创 spark查询hive的简单应用
使用原因：sparksql应用集群内存，查询更快使用方法：编写代码逻辑，使用spark-submit提交到yarn上执行简单代码示例： 核心思想就是编写查询sql，然后对获取到的df数据集再进行逻辑处理，转存object Main extends Logging{ def main(args: Array[String]): Unit = { //第一个参数：处...
2019-07-11 15:11:07
2444
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人