- 博客(119)
- 收藏
- 关注
RSS订阅原创 PYTHON+AI LLM DAY ONE HUNDRED AND NINTEEN
今天聊聊ASR（Automatic Speech Recognition，自动语音识别）和 TTS（Text-to-Speech，语音合成）算法:一、 ASR（语音识别）算法解析'ASR 的核心目标是将连续的声波信号转化为可读的文本序列。特别是端到端模型（如 CTC、RNN-T、Conformer），直接建立声学特征到文本的映射，大幅提升了识别准确率并简化了系统复杂度.语言模型（Language Model）提供词汇序列的先验概率，用于补偿声学模型的歧义。
2026-07-27 16:55:39
50
原创 PYTHON+AI LLM DAY ONE HUNDRED AND EIGHTEEN
今天聊聊智能体的记忆管理(Memory server):智能体的记忆分为短期记忆和长期记忆两大核心模块，它们各自承担着不同的功能，并配合相应的管理策略来应对大模型上下文窗口（Token）的限制。主智能体只负责编写简短的任务指令并分发给子智能体，子智能体在独立的上下文中执行任务并返回结果，从而大幅降低主智能体的内存开销.二、 长期记忆（Long-term Memory）.长期记忆用于跨会话、跨任务地持久化保存关键信息，使智能体具备学习进化与个性化适应的能力。但缺点是会增加每次交互的处理延迟，影响响应速度。
2026-07-26 00:39:33
154
原创 PYTHON+AI LLM DAY ONE HUNDRED AND SEVENTEEN
概念定义：随着 AI 智能体（Agent）的兴起，业界发现许多智能体失败的案例并非模型本身的失败，而是上下文的失败。上下文工程致力于设计和构建动态系统，在恰当的时机、以恰当的格式，为大模型提供完成任务所需的所有恰当信息（包括指令、历史状态、长期记忆、检索信息、可用工具等）。关注焦点：它超越了静态的提示词，强调系统性、动态性和信息的精准性。它标志着开发者角色的迁移：从亲自充当“人工调度器”不断提示 AI，转变为设计一个能够持续发现任务、执行任务、验证结果、记录状态，并决定下一步行动的自动化系统.
2026-07-25 14:27:01
226
原创 PYTHON+AI LLM DAY ONE HUNDRED AND SIXTEEN
比如你搜“乔布斯的公司”，它知道你要找的是 Apple 和 Pixar，而不是包含“乔布斯”这三个字的无关文章。逻辑推理： 如果图谱知道 A是B的父亲，B是C的父亲，它可以自动推导出 A是C的祖父，即使你没有直接存储这条信息。推荐系统： 抖音或淘宝不仅看你点过什么，还看“你点过的商品”和“其他商品”在图谱里的距离。搜索引擎（如 Google、百度）： 当你搜“姚明身高”，右侧直接显示答案卡片，而不是给你一堆网页链接，这就是知识图谱在后台直接调取了 [姚明] --(身高)--> [2.26米] 的关系。
2026-07-24 14:30:02
152
原创 PYTHON+AI LLM DAY ONE HUNDRED AND FIFTEEN
它的核心设计理念是“一切图像生成皆可视为一个序列到序列（Seq2Seq）的问题”，试图用一个模型来替代过去针对不同任务（如文生图、图生图、图像编辑等）训练的多个专用模型。例如，用 CLIP 的文本编码器处理文本，用 VAE（变分自编码器）的编码器处理输入图像。统一的 Transformer：将所有编码后的 Token 拼接在一起，输入到一个大型的 Transformer 模型中进行处理和生成。图像解码器：使用 VAE 的解码器将 Transformer 输出的图像 Token 序列转换回最终的像素图像。
2026-07-23 16:51:21
214
原创 PYTHON+AI LLM DAY ONE HUNDRED AND FOURTEEN
加速收敛：语义对齐更好的训练数据显著加速了模型的收敛，并增强了提示词遵循能力.高效的训练与推理策略尽管模型能力强大，Lumina-Image 2.0 在参数规模上保持了极高的效率（仅需约 20亿 至 26亿 参数），这得益于其优化的训练和推理算法：三阶段渐进式训练：摒弃了传统的三分辨率训练范式，采用“低分辨率(256px) → 高分辨率(1024px) → 高质量调优(1024px)”的三阶段策略。强大的文本编码器.模型采用了 Gemma-2-2B 作为文本编码器。
2026-07-22 14:22:15
218
原创 PYTHON+AI LLM DAY ONE HUNDRED AND THRETEEN
工作原理：算法通过维护一个“和声记忆库”（Harmony Memory），在每次迭代中以一定概率从记忆库中选取现有解，或者在解空间中随机生成新解，并对选取的解进行“音调微调”（Pitch Adjusting）。主要特点：概念简单、可调参数少、容易实现，且在处理复杂的工程优化问题（如传感器布置、智能制造、机器人路径规划等）时表现出较强的搜索能力.Harmony-单细胞数据整合算法.这是一种在生物信息学领域广泛使用的多数据集整合算法，主要用于单细胞 RNA 测序（scRNA-seq）数据的批次效应校正。
2026-07-21 17:48:30
241
原创 PYTHON+AI LLM DAY ONE HUNDRED AND TWENVE
今天聊聊MAR的另一个方向主轴回归算法（Major Axis Regression,MAR）:这是一种在统计学中用于处理双变量均存在测量误差的模型II回归分析方法，常用于生态学、形态学、地质化学等领域。此外，在非算法领域，MAR也有其他专业含义，例如：医学影像领域：MAR指代金属伪影去除算法（Metal Artifacts Reduction），主要用于多排螺旋CT扫描中，能有效去除由膝关节等金属植入物引起的伪影并减小图像噪声。
2026-07-20 16:01:17
170
原创 PYTHON+AI LLM DAY ONE HUNDRED AND ELEVEN
应用效果：MAR算法能够显著降低计算成本（例如将Vision Transformer的计算成本降低53%），且在多个数据集上的表现持续优于现有的标准训练模型.卓越的性能表现：大量实验表明，MAR 算法能够以明显的优势持续超越现有的 ViT 模型。例如，在 Kinetics-400 和 Something-Something v2 数据集上，使用 MAR 训练的 ViT-Large 模型表现优于使用标准训练方案训练的 ViT-Huge 模型，而其计算开销仅为后者的 14.5%.
2026-07-19 10:40:30
205
原创 PYTHON+AI LLM DAY ONE HUNDRED AND TEN
今天介绍一个算法Emu:Emu 是一种专为微生物组学设计的新型计算软件工具，旨在利用全长的 16S rRNA 基因序列，从容易出错的纳米孔（Nanopore）测序数据中，更精确地建立微生物群落特征（即物种丰度）.传统的微生物群落分析多依赖 Illumina 等短读长测序技术，由于只能读取 16S rRNA 基因的一小部分，通常只能将微生物分类到“属”级别。这些错误会导致碱基缺失、替换或增加，如果直接套用传统的短读长分析流程，会产生极不准确的群落分析结果.Emu 的命名来源于其核心算法。
2026-07-18 14:23:42
208
原创 PYTHON+AI LLM DAY ONE HUNDRED AND NINE
它包含两个独立的视觉编码器（一个用于捕获语义信息以理解，一个用于捕获像素信息以生成），以及两个Transformer专家（理解专家和生成专家）。效果：相比之前的先进算法（如 Donut），Bagel 大大提高了对包含时间信息和周期性异常检测的鲁棒性，显著提升了最佳 F1-score.Bagel：Apache Spark 的图计算框架.这是 Apache Spark 生态中的一个库，是 Google Pregel 图处理框架的 Spark 实现。
2026-07-17 14:48:42
204
原创 PYTHON+AI LLM DAY ONE HUNDRED AND EIGHT
它的核心思想是“术业有专攻”，通过将复杂任务分解，让不同的专家模块并行处理，从而在不显著增加计算成本的前提下，大幅提升模型的参数规模和处理效率.MoE 架构通常用来替代传统 Transformer 模型中的前馈网络层，其内部主要由三个核心组件构成：门控网络（Gating Network/Router）：扮演“智能路由器”的角色。专家网络（Experts）：由多个独立的子网络组成，每个专家在训练中会自发学习并专注于特定的数据特征或任务领域（例如有的擅长语法，有的擅长数学推理）。
2026-07-16 10:30:36
143
原创 PYTHON+AI LLM DAY ONE HUNDRED AND SEVEN
它的核心目标是打破传统AI模型“各司其职”的壁垒，在一个单一的框架内，同时实现多模态的“理解”与“生成”任务.在传统的多模态AI设计中，它们依赖预训练的视觉编码器（如CLIP）来负责“理解”，同时使用另一套独立的视觉表示（如VAE的潜空间）来负责“生成”6。单一框架处理：在这个统一空间内，图像和视频的 token 与文本 token 结合，由一个大语言模型（LLM）解码器统一处理。该解码器既能进行自回归的文本生成（用于理解），也能进行基于流匹配（Flow-matching）的视觉生成（用于生成）。
2026-07-15 19:52:44
142
原创 PYTHON+AI LLM DAY ONE HUNDRED AND SIX
当遇到 continue 时，会立即跳过当前这一轮循环中剩余的代码，直接进入下一轮循环的判断.raise（异常抛出关键字）.作用：用于主动触发（抛出）一个异常。今天聊聊python中的关键字(keyword):python中的关键字是有特殊含义的字,是底层封装的,用来实现python中某些特定功能的字.在定义函数或者命名等场景是千万不能用关键字的,否则会导致程序报错.常用的一些关键字有:with（上下文管理器）作用：用于简化异常处理和资源管理。
2026-07-14 17:23:42
172
原创 PYTHON+AI LLM DAY ONE HUNDRED AND FIVE
今天聊一聊MCP:MCP（Model Context Protocol，模型上下文协议）是由 Anthropic 于 2024 年 11 月推出的一项开源标准协议。
2026-07-13 19:55:43
182
原创 PYTHON+AI LLM DAY ONE HUNDRED AND FOUR
今天聊聊RAG系统部分的query改写.前面已经聊到过RAG系统的大致流程.其中就有用户的问题query.在实际场景,query并不是直接就去向量库中检索,而是对query做一些改写,然后再去向量库检索.为什么要进行query改写?
2026-07-12 14:19:22
157
原创 PYTHON+AI LLM DAY ONE HUNDRED AND THREE
今天聊聊RAG技术:RAG(检索增强生成)是配合LLM解决企业内部私有知识问答的关键技术.LLm能力很强,但没有获取企业内部私有知识的权限,设想有这样一个业务场景:客户询问某企业内部相关知识的信息,有一个系统能够结合企业内部的相关信息,对客户的提问做出精准回答.而这就是RAG技术解决的问题.RAG具体过程是两个板块:离线知识库的搭建和在线检索两个阶段.离线知识库搭建:准备企业内部相关文档,实际情况,通常是选择markdown格式.用相应的文档加载器读取,相应文档加载器在langchain框架下有相应提及,然
2026-07-11 19:05:47
184
原创 PYTHON+AI LLM DAY ONE HUNDRED AND TWO
语义理解力强：尽管体积小，但在语义相似度、文本聚类等核心任务上表现优异，能够精准捕捉句子的核心语义信息.all-MiniLM-L6-v2 广泛应用于以下场景：智能搜索与 RAG 检索：突破传统关键词匹配的限制，实现基于用户意图的语义搜索。今天介绍一个向量(Embedding)模型all-MiniLM-L6-v2:all-MiniLM-L6-v2 是一个轻量级、高性能的文本嵌入（Embedding）模型，专门用于将文本转换为高质量的语义向量。
2026-07-10 19:45:49
223
原创 PYTHON+AI LLM DAY ONE HUNDRED AND ONE
今天介绍一个模块pathlib:pathlib是用来操作系统文件的一个python模块.传统命令行操作文件的方式:目录与文件的基础管理.查看与切换：ls：列出当前目录下的文件和文件夹。less / more：分页显示文件内容.而pathlib模块在编程中的应用则更加普遍.pathlib模块下的Path类,操作文件的方式很齐全.属性:name获取文件名.stem文件名(不带后缀).suffix文件后缀名.parent上级目录.还有一些函数:检查与遍历：exists()：判断路径是否存在。
2026-07-09 20:09:05
217
原创 PYTHON+AI LLM DAY ONE-HUNDRED
今天聊一个装饰器lru_cache.关于装饰器的一些内容,前面也做过一定的介绍.简单来说,就是不改变被装饰函数的原有功能,并为其额外增添一些功能.lru_cache是functools模块下的一个装饰器.用法和其他装饰器一样,就是使用@lru_cache放在定义的函数上面.lru_cache的主要功能是将函数的调用结果缓存,避免后面重复调用. 核心作用与工作原理.记忆化（Memoization）：当函数被调用时，lru_cache 会将输入参数与输出结果进行关联。加上缓存后，时间复杂度可降至线性。
2026-07-08 17:19:07
192
原创 PYTHON+AI LLM DAY NINTY-NINE
低层级函数，分别用于以最安全的方式创建临时文件和目录。它们返回文件描述符或路径，但不会自动清理，需要开发者在使用完毕后手动删除.结合 with 语句（上下文管理器）使用 tempfile 的高层级接口，这能确保即使发生异常，临时文件和目录也能被可靠地自动清理.tempfile 在创建文件时会生成包含随机字符的安全文件名，并采用原子操作，有效防止了多进程或多线程环境下的文件名冲突和潜在的安全漏洞（如早期不安全的 mktemp() 函数已被弃用）.：创建一个在文件系统中具有可见名称的临时文件。
2026-07-07 19:51:07
167
原创 PYTHON+AI LLM DAY NINTY-EIGHT
它不仅能精准还原字符坐标、字体和颜色信息，还支持高级搜索、表格提取以及处理加密文档等复杂任务，非常适合用于自动化文本处理和文档排版分析.深度图像提取：不仅能简单导出图像列表，还能识别嵌入式 JPEG/PNG/JBIG2/JPX 图像流，提取带 Alpha 通道的 RGBA 位图，按 DPI 自适应重采样，保留 CMYK 色彩空间，甚至导出为 NumPy 数组供 OpenCV 直接处理。
2026-07-06 19:26:02
174
原创 PYTHON+AI LLM DAY NINTY-SEVEN
之后客户端每次请求受保护的资源时，只需带上这个令牌，服务器验证令牌有效即可放行，而无需再次查询数据库验证用户名和密码.它由三部分组成： Header（头部）：包含令牌的元数据，主要说明这个 Token 的类型（JWT）以及使用的签名算法（如 HMAC SHA256 或 RSA）。需要注意的是，这部分通常只是经过 Base64 编码，并没有加密，所以不要在里面放密码等敏感信息。优势：这个链接可以在一定时间内有效，过期后自动失效，且链接中的信息（如文件ID）无法被篡改，防止了恶意用户伪造链接下载他人文件。
2026-07-05 19:31:20
229
原创 PYTHON+AI LLM DAY NINTY-SIX
今天介绍一个操作数据库的工具包SQLAlchemy:SQLAlchemy 是python的一个库.可以通过pip install SQLAlchemy的命令安装.SQLAlchemy的架构主要分为两大核心组件:SQLAlchemy Core（核心层）：这是数据库抽象的基础层，独立于 ORM 存在。SQLAlchemy ORM（对象关系映射层）：构建在 Core 之上，将数据库中的表映射为 Python 的类，将表中的行映射为类的实例。明确的事务机制确保数据一致性；
2026-07-04 13:14:20
390
原创 PYTHON+AI LLM DAY NINTY-FIVE
今天聊聊python里面的异常Exception:Exception是python解释器内置的,是所有异常的父类.通过面向对象的编程方法,可以自己定义异常,并打印.具体是先定义一个异常的类,然后继承Exception.例如:class My_erro(Exception):然后重写自己的方法.def __init__(self,message:str=""......).如果要沿用父类的方法.可用super().__init__() self.xx=xx.最后就是定义多种错误类型继承My_erro()这个
2026-07-03 20:00:09
234
原创 PYTHON+AI LLM DAY NINTY-FOUR
今天聊聊python里面的一个包pydantic.在我们编程的过程中,有时候对于数据的类型可能就在编辑的过程中给忽略了, 为此,我们可以在一开始就对要用到的变量名进行数据类型限制.对于大模型输出的文本,我们同样也可进行数据类型限制,因此我们可以用pydantic这模块来帮我们解决这个问题.具体步骤是:先导入模块:from pydantic import BaseModel.然后自己定义一个类继承BaseModel这个类(面向对象编程方法).然后就可直接对要用到的变量进行类型说明.比如可以这样:name:st
2026-07-02 16:22:52
183
原创 PYTHON+AI LLM DAY NINTY-THREE
今天来聊一聊langGraph框架:langGraph是一个专为构建复杂的,多智能体（Multi-Agent）语言模型应用而设计的低级别编排框架.结合前面聊到过的langChain框架,langChain框架是将智能体的各个组件组合在一起,形成一套完整的链式工作流,但是langChain并不能解决条件判断,事件循环等问题,由于langChain的功能太过单一,因此LangChain 团队为解决传统链式（Chain）模型在处理需要记忆、状态保持、循环或动态路由的复杂任务时的局限性,接着又推出了langChai
2026-07-01 19:55:50
166
原创 PYTHON+AI LLM DAY NINTY-TWO
今天来聊一下异步编程(Asynchrous programming).对比一下同步编程(Synchrous programming),例如def,class(面向对象编程)方法.是等一个方法执行完后,再执行下一个方法.在等待的过程中,CPU一直处于空闲状态.在多任务的编程过程中,效率很是低下.因此为提升任务的执行效率,异步编程应运而生.异步编程是对CPU性能的极致压缩,使其发挥出最大的效率.多任务的程,CPU一直处于高速运转状态.在一个任务正在执行的时候,CPU又在安排下一个任务.实现io密集型任务的高并发
2026-06-30 20:39:42
234
原创 PYTHON+AI LLM DAY NINTY-ONE
今天介绍另一款可视化工具Tiny RDM:Tiny RDM是一款现代化轻量级跨平台 Redis 桌面管理客户端，主要是将Redis数据库里面的数据直观地展示出来.支持 Mac、Windows、Linux 系统，可通过官网 redis.tinycraft.cc下载.无需编写繁琐命令，即可通过图形化界面对 String、Hash、List、Set、ZSet 以及 Stream 等数据结构进行增删改查和批量操作。同时支持 JSON/CSV 格式的数据导入与导出，助力数据备份与迁移.
2026-06-29 19:40:01
170
原创 PYTHON+AI LLM DAY NINTY
今天介绍一下Attu:Attu是一个Milvus向量库的可视化工具,有时在Milvus向量库建了表,用代码写入了数据,却看不到表里存入的数据, Attu直接打开就能看.现在来详细聊聊查看过程.结合前面聊到过的docker软件.Milvus向量库也是通过docker容器安装的.首先在任意目录下创建dcker文件.文件名可命名为docker-compose.yml(文件名可任取,但是后缀名.yml不能随便取).然后记事本打开这个文件,里面写入Milvus向量库的一些配置,例如可以这样:
2026-06-28 21:20:49
170
原创 PYTHON+AI LLM DAY EIGHTY-NINE
今天简单聊聊Apifox:Apifox是一款国产的API协作平台.旨在解决传统开发接口工具碎片化的问题.让一份接口数据在文档、调试、Mock、自动化测试等多个场景中复用.支持环境变量配置（如区分本地、测试、生产环境），避免反复修改域名。也支持自定义 Mock 规则，满足特定的业务测试需求.支持通过“场景用例”将多个接口串联起来，利用 If、For、Wait 等逻辑组件编排复杂的业务流程（如用户注册到登录的全流程）。
2026-06-27 19:50:19
243
原创 PYTHON+AI LLM DAY EIGHTY-EIGHT
先是将一般文档传入模型,返回json或markdown格式,再交由多模态模型处理,提取里面要用到的信息.
2026-06-26 20:10:01
235
原创 PYTHON+AI LLM DAY EIGHTY-SEVEN
今天简单介绍一下milvus向量库中的混合检索方法.混合检索的目的也就是从不同向量场实现对问题的精准查询,这也是milvus向量库的一大优点.milvus向量库支持的混合检索的方式有两种.也是常说的排序器.分别是加权排名策略（WeightedRanker）和重排序策略（RRFRanker）.它们的区别在于对最后向量场的上分配的权重上的区别.WeightedRanker对不同的向量场使用不同的权重(重要性),所有向量场的权重的和为1.RRFRanker对待每个向量场则没有权重限制,也就是每个向量场是等权重.这
2026-06-25 16:28:46
161
原创 PYTHON+AI LLM DAY EIGHTY-SIX
问题往往比较灵活.很难做到固定分类.因此这里选择用LLM+Prompt的方式.具体做法就是调用大模型,给大模型说清楚具体任务是要对拿到的句子做哪一种分类.对于Bert模型和LLM+prompt的这两种方式,各自有自己的适用场景和优缺点.Bert适合做固定问题分类.LLM+prompt适合从语义上对灵活问题做分类.
2026-06-24 19:57:42
173
原创 PYTHON+AI LLM DAY EIGHTY-FIVE
BGE-Reranker-v2-m3 则作为“狙击手”，对这 20 个候选文档进行精细化的语义打分，最终筛选出最相关的 Top-N（如 Top-5）喂给大模型.由于 Reranker 的计算开销高于向量检索，在实际工程中，通常建议将召回阶段的 Top-K 数量控制在合理范围（如 20~50 条），以兼顾系统响应延迟和最终生成内容的准确性67。将它与 BGE-M3 结合使用，构建“混合检索 + 重排序”的流水线，是目前打造高质量企业级 RAG 系统的标准范式。
2026-06-23 18:39:15
217
原创 PYTHON+AI LLM DAY EIGHTY-FOUR
今天简单聊聊一个模型BGE-Reranker-v2-m3:BGE-Reranker-v2-m3 也是由北京智源人工智能研究院（BAAI）推出的第二代高性能重排序模型.核心用途就是用来计算两个句子之间的相关性得分.其底层采用Cross-Encoder(交叉编码)技术.大致过程就是将用户query和查询问题Document进行联合编码拼接成一个完整序列,一起交给Bert模型模型,再经过一个全连接层输出,就不再需要进行几分类的映射,输出的就是两个句子的相关性得分.初期的BGE-Reranker只支持512个tok
2026-06-22 17:35:22
241
原创 PYTHON+AI LLM DAY EIGHTY-THREE
在长文档检索中，由于关键词信息的重要性，稀疏检索效果显著高于稠密检索；在跨语言检索中，稠密检索展现出明显优势。推荐检索流程：官方推荐在 RAG 等应用中使用 “混合检索 + 重排序（Hybrid Retrieval + Re-ranking）”的流水线，充分利用 BGE-M3 同时生成稠密和稀疏向量的能力，实现更高的准确性和更强的泛化能力。开源与部署：模型完全开源且免费商用，支持本地部署（如通过 vLLM 启动 API 服务）以及集成到 Milvus、Vespa 等主流向量数据库中。
2026-06-21 19:30:44
204
原创 PYTHON+AI LLM DAY EIGHTY-TWO
今天简单介绍一个应用Docker:Docker是一个开源的容器化的平台，它能将应用程序机器所有的依赖打包到一个容器中，解决了软件在开发，应用上环境的一致性问题。例如前面提到的Milvus向量库和Redis数据库等都是通过安装在Docker上运行的。结果打开powershell，运行wsl --install命令，自动下载Ubuntu，首次会在这里设置用户名和密码，随便在设置即可，越简单越好。文件里面写入数据库的一些信息，然后返回Docker配置数据库的镜像。启动数据库的服务也是这个命令。
2026-06-20 20:01:45
262
原创 PYTHON+AI LLM DAY EIGHTY-ONE
错误事件，可能影响功能。今天聊一聊python里面的日志系统.目的是用来记录程序的报错,警告等信息,方便用于后续的代码调试,故障排查.按日志的级别可分为以下五类。：常规流程信息（如请求开始/结束）。：潜在问题，但不影响主流程。：调试信息，开发环境启用。
2026-06-19 22:22:28
210
原创 PYTHON+AI LLM DAY EIGHTY
今天来简单聊一个数据库Redis:Redis数据库是一个非结构化数据库,说到了非结构化数据,就先简单说下结构化数据和非结构化数据.结构化数据和非结构化数据是按数据的组织形式划分的.举例说明一下:一张表格里面的数据,有行有列.比如excel表,csv表......这些数据都是结构化数据.一个普通文件txt,里面是一些文字,一些图片啥的.还有一些视频,音频,图片......都是非结构化数据.这些说明了非结构化数据在某些情况下可以转化结构化数据.Redis数据库的数据是存储在本地的,因此它数据能够持久化,读写相应
2026-06-18 16:57:46
43
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人