也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！

​MCP起源于2024年11月25日Anthropic发布的文章：Introducing the Model Context Protocol。MCP（Model Context Protocol，模型上下文协议）定义了应用程序和 AI 模型之间交换上下文信息的方式。这使得开发者能够以一致的方式将各种数据源、工具和功能连接到 AI 模型（一个中间协议层），就像 USB-C 让不同设备能够通过相同的接口连接一样。MCP的目标是创建一个通用标准，使AI应用程序的开发和集成变得更加简单和统一。

在当今人工智能技术飞速发展的时代，大模型已经成为各行各业关注的焦点。然而，如何将这些通用的大模型应用到我们的具体业务场景中，如何解决大模型在实际应用中的种种局限，这些都是我们需要深入思考的问题。RAG，也就是检索增强生成技术，正是解决这些问题的关键方案之一。 在接下来的分享中，我会从理论基础出发，逐步深入到技术细节和实践案例，帮助大家全面理解RAG，并掌握从0-1搭建RAG系统的核心流程及方法，以为大家在实际工作中应用这一技术提供支持。

AgentSkills是一种将可复用的AI协作流程封装为标准化任务的机制，通过Markdown文件定义任务名称、描述和执行步骤。OpenCode支持项目本地和全局两种Skill配置路径，采用渐进式三层加载机制（元数据、指令、资源）优化Token消耗。Skill包含核心SKILL.md文件和可选资源（scripts、references、assets），其创建可借助skill-creator元技能完成。这种设计通过模块化、标准化和按需加载，既提升了AI协作效率，又降低了资源消耗，实现了复杂工作流程的确定性执行

最近，一个名为 ClawdBot 的项目在技术圈引起了广泛的讨论。许多人称其为“真正能做事的 AI”、“个人 AI 助理的未来形态”。它似乎不仅仅是一个聊天机器人，而是一个能接入我们日常生活、实际操作电脑的强大工具。那么，ClawdBot 究竟是什么？

vLLM框架针对MoE模型部署提出创新解决方案，通过分组TopK路由算法、令牌重排对齐机制和混合精度专家计算三大核心技术，有效解决了计算资源碎片化、跨设备通信瓶颈和内存管理复杂性等核心挑战。该系统支持动态专家选择策略和多模态处理，在70B参数的MoE模型上实现75%以上的GPU利用率，显存占用降低40%，吞吐量较传统方案提升3倍。未来将发展自适应专家并行和异构专家部署等功能，为万亿参数模型提供高效推理支持。最佳实践包括模型权重优化、系统参数配置和性能指标监控等关键步骤。

本文介绍了AI编程代理OpenCode的安装配置与使用指南。主要内容包括：1) 常用Skill下载源和配置方法（手动下载/市场安装）；2) OpenCode的安装方式（一键脚本/包管理器/桌面应用）；3) 基础配置步骤（连接AI模型、项目初始化）；4) 基本用法（切换代理、引用文件提问）。OpenCode作为开源AI编程助手，支持多模型接入，提供终端和图形界面两种操作方式，能帮助开发者更高效地理解和修改代码。

在当今大语言模型（LLM）快速发展的时代，Ollama作为一款优秀的本地模型运行框架，为用户提供了便捷的模型部署和运行能力。然而，随着模型规模的不断增大，如何在有限的硬件资源下高效运行这些模型成为了一个重要问题。模型量化技术应运而生，它通过降低模型权重的数值精度来减少内存占用和提升推理速度。但量化并非简单的参数调整，不当的设置可能导致严重的性能下降甚至显存溢出问题。

本文系统探讨了大模型量化技术的理论基础与实现方法。首先介绍了对称量化（absmax方法）和非对称量化（零点量化）的基本原理，分析了量化误差的产生机制。随后重点讨论了GGUF分组量化方法，通过具体示例展示了4位量化过程。在优化方法方面，详细阐述了GPTQ的后训练量化技术，包括其Hessian-based误差补偿机制和LazyBatch-Updates加速策略。最后介绍了AWQ方法，该方法通过激活感知选择1%关键权重进行保护，结合缩放因子优化显著降低了量化误差。实验结果表明，AWQ与GPTQ相结合能进一步提升量

基于人类反馈的强化学习（RLHF）是训练先进AI系统的核心技术，使ChatGPT等大语言模型能更好地对齐人类价值观。RLHF通过三阶段流程实现：监督微调初步训练模型，奖励模型学习人类偏好，强化学习优化模型输出。奖励模型是关键组件，通过偏好学习算法将人类判断转化为评分信号。尽管面临奖励欺骗、反馈偏差等挑战，RLHF正推动AI从单纯追求性能转向安全性和人类价值观对齐。随着DPO、RLAIF等新方法出现，RLHF持续推动AI系统向更有用、更安全的方向发展。

Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，对于复杂问题尤其是复杂的数学题大模型很难直接给出正确答案。如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。COT通过要求模型在输出最终答案之前，显式输出中间逐步的推理步骤这一方法来增强大模型的算数、常识和推理能力。简单，但有效。2022 年，在 Google 发布的论文。

​在机器翻译任务中，BLEU 和 ROUGE 是两个常用的评价指标，BLEU 根据精确率(Precision)衡量翻译的质量，而ROUGE 根据召回率(Recall)衡量翻译的质量

MEGC2019中的四篇工作，虽然使用的网络结构各不相同，但思路类似，都使用了微表情的Apex帧表示整段表情的特征。总体而言，关于Apex的光流是比较好的特征形式，而Transfer learning+Domain Adaptation对于模型的效果提升也是巨大的。

这些模型使用表中的超参数构建。这三个模型使用相同的数据和词汇表进行相同的训练（除了批量大小），feed-forward size dff始终为dmodel的4倍，注意力头大小始终为256。在训练期间，数据集不按其大小进行采样，而是质量较高的数据集采样更频繁，因此CommonCrawl和Books2数据集在训练期间采样不到一次，但其他数据集采样2-3次。虽然具体的训练细节没有公布，但一个有意思的事情是，在GPT4中的技术报告中，上述表格中的实验证明RLHF基本不起作用，甚至有些情况会降低效果。

AnythingLLM 是 Mintplex Labs 开发的一款可以与任何内容聊天的私人ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。AnythingLLM 支持多种文档类型（PDF、TXT、DOCX等），具有对话和查询两种聊天模式。

谷歌和DeepMind的科研人员在《自然》杂志上发表了一项研究，根据其研究结果，一组临床医生对谷歌和DeepMind团队的医疗大模型Med-PaLM回答的评分高达92.6%，与现实中人类临床医生的水平（92.9%）相当。

与稠密模型相比，预训练速度更快与具有相同参数数量的模型相比，具有更快的推理速度需要大量显存，因为所有专家系统都需要加载到内存中在微调方面存在诸多挑战，但 近期的研究 表明，对混合专家模型进行指令调优具有很大的潜力。为了实现大模型的高效训练和推理，有的是从模型底层下手，比如直接改变底层模型架构，将原来的Transformer架构改成近期新出的基于状态空间模型（SSM）的mamba架构；

优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。模型内部有些参数，是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参数，就形成了损失函数E(x)。比如说，权重(W)和偏差(b)就是这样的内部参数，一般用于计算输出值，在训练神经网络模型时起到主要作用。在有效地训练模型并产生准确结果时，模型的内部参数起到了非常重要的作用。这也是为什么我们应该用各种优化策略和算法，来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值。

YOLOV8

本文收集整理了公开网络上一些常见的异常检测方法（附资料来源和代码）。不足之处，还望批评指正。

是一个强大的开源Python库,它专为简化和美化神经网络图的绘制而设计。

三、涨指标的方法：排序模型五、涨指标的方法：特殊对待特殊人群六、涨指标的方法：利用交互行为。

UGC的物品冷启有哪些⼩红书上⽤户新发布的笔记。B站上⽤户新上传的视频。今⽇头条上作者新发布的⽂章。为什么要特殊对待新笔记？新笔记缺少与⽤户的交互，导致推荐的难度⼤、效果差。扶持新发布、低曝光的笔记，可以增强作者发布意愿。优化冷启的目标精准推荐：克服冷启的困难，把新笔记推荐给合适的⽤户，不引起⽤户反感。激励发布：流量向低曝光新笔记倾斜，激励作者发布。挖掘⾼潜：通过初期⼩流量的试探，找到⾼质量的笔记，给与流量倾斜。

基于物品属性标签基于物品向量表征 ⽤召回的双塔模型学到的物品向量（不好）

对LastN物品ID做embedding，得到 𝑛 个向量。把 𝑛 个向量取平均，作为⽤户的⼀种特征。适⽤于召回双塔模型、粗排三塔模型、精排模型。

使用 utils.discovery.all_displays 查找可用的 API。Sklearn 的可以让你看到哪些类可以使用。Scikit-learn (sklearn) 总是会在新版本中添加 "Display "API，因此这里可以了解你的版本中有哪些可用的 API。

SENet 对离散特征做field-wise加权，如果有𝑚 个fields，那么权重向量是𝑚 维。FiBiNet可以理解为同时考虑了SENet 结合 Field 间特征交叉。之前提到过的召回、排序模型中的神经网络可以用任意网络结构；LHUC起源于语⾳识别，快⼿将LHUC应⽤在推荐精排，称作PPNet。深度交叉网络就是两个分支，一边是全连接，一边是交叉网络。线性模型预测是特征的加权和。交叉网络就是多个交叉层串起来的网络。可以通过矩阵分解减少模型参数量。Field 间特征交叉。

完播率通常和视频时长有关，不能直接把预估的完播率⽤到融分公式。训练时通常会遇到类别不平衡问题，可以考虑做采样。多目标有多个预估分数就可以有不同融合方式。进一步考虑对多个神经网络的输出进行加权。可以通过dropout的方式来解决极化。预测概率和实际是否交互求交叉熵损失。多目标模型就是要预测多个目标。几个专家就是放几个神经网络。视频完播用回归或分类都可以。通常做个调整再用到融分公式。双塔模型牺牲准确性换计算量。可以通过校准公式进行校准。精排模型的线上推理代价大。回顾一下推荐系统的链路。可能会出现极化的现象。

离散特征可以用Embedding Layers，连续特征可以归一化、分桶等处理。Swing额外考虑重合的⽤户是否来⾃⼀个⼩圈⼦，两个⽤户重合度⼤，则可能来⾃⼀个⼩圈⼦，权重降低。简单负样本可以是全体物品（考虑非均匀采样打压热门物品）或者Batch内负样本。⽤户兴趣动态变化，⽽物品特征相对稳定，事先存储物品向量𝐛，线上现算⽤户向量𝐚。困难负样本主要考虑被召回，但是被排序淘汰的样本。一个物品的两个向量可以通过一些特征变换得到。⽤索引，离线计算量⼤，线上计算量⼩。正样本的选择需要考虑冷门、热门物品。

但是随机分桶的问题在于无法做多个实验，因此通常考虑分层实验，同层互斥就是做的分桶，不同层正交可以避免不同实验之间的干扰，就可以做无数组实验。实验推全是逐步将新推荐策略应用到所有用户的过程，而反转实验是通过将部分用户回退到旧策略来评估新策略的有效性。粗排、精排会考虑用户特征、物品特征、统计特征来建模，同时考虑多个消费指标，然后得到一个最终的排序分数。通常会考虑用户的一些消费指标。

我们可以把召回模型的结构分为三层。输入层：输入层总共有四种特征。用户看过视频的 Embedding（embedded video watches）用户搜索的关键词的 Embedding 向量（embedded search tokens）用户所在的地理位置的特征（geographic embedding）适用于冷启动用户基本特征（example age, gender）

Embedding 已成为表示关于实体、概念和关联的复杂的信息的关键手段，并以简洁且有用的格式呈现。然而，它们通常难以直接进行解释。尽管下游任务利用这些压缩表示，但要进行有意义的解释通常需要使用降维或专门的机器学习可解释性方法进行可视化。本文解决了使这些嵌入更具解释性和广泛实用性的挑战，通过利用大语言模型（LLMs）直接与嵌入进行交互，将抽象向量转化为可理解的叙述。通过将嵌入注入LLMs，我们使复杂的嵌入数据可以进行查询和探索。

虽然之前写过 Attention 的文章，但现在回头看之前写的一些文章，感觉都好啰嗦，正好下一篇要写的 Stable Diffusion 中有 cross-attention，索性就再单拎出来简单说一下 Attention 吧，那么这篇文章的作用有两个：第一是为 Stable Diffusion 做补充，第二是为后续的 Vision Transformer 和 Swin Transformer 做铺垫。

使用import tensorflow.compat.v1 as tf来导入TensorFlow 1.x的兼容性模块，并通过tf.disable_v2_behavior()来禁用TensorFlow 2.0的行为。

通过本项目，我们使用了机器学习模型预测了客户的信用卡办卡意愿，并通过Django实现了数据的可视化展示。这使得银行和金融机构能够更好地理解客户行为模式，并做出相应的业务决策。

Xception是Google公司继Inception后提出的对 Inception-v3 的另一种改进。作者认为，通道之间的相关性与空间相关性最好要分开处理。于是采用 Separable Convolution来替换原来 Inception-v3中的卷积操作。传统卷积的实现过程：Depthwise Separable Convolution 的实现过程：深度可分离卷积 Depthwise Separable Convolution。

在计算机视觉领域，图像识别是一个非常重要的任务，其应用涵盖了人脸识别、物体检测、场景理解等众多领域。随着深度学习技术的发展，深度卷积神经网络（Convolutional Neural Networks，简称CNN）在图像识别任务上取得了巨大成功，其中Xception算法作为一种改进型CNN，被广泛应用于图像分类和特征提取任务。本章节将重点介绍Xception算法的背景、原理及其在图像识别系统中的应用。

随着人工智能应用的日益广泛，搜索引擎供应商越来越多地要求广告商使用基于机器学习的自动竞价策略。这样的自动决策系统让广告商对所使用的数据以及它们如何影响决策过程的结果一无所知。以前关于人工智能的文献缺乏对与人工智能系统相关的危险及其缺乏透明度的理解。针对这一问题，本文研究了搜索引擎广告中广告主竞价策略自动优化的内在风险。因此，所选服务公司的实证案例说明了数据可用性如何引发广告绩效的长期下降，以及搜索引擎广告绩效指标在数据稀缺事件前后的发展情况。

绝大多数聚类算法或者擅长处理球形和相似大小的聚类．或者在存在孤立点时变得比较脆弱。CURE采用了一种新颖的层次聚类算法．该算法选择基于质心和基于代表对象方法之间的中间策略。它不同于单个质心或对象来代表一个类，而是选择数据空间中固定数目的具有代表性的点。一个类的代表点通过如下方式产生：首先选择类中分散的对象，然后根据一个特定的分数或收缩因子“收缩”或移动它们。在算法的每一步，有最近距离的代表点对(每个点来自于一个不同的类)的两个类被合并。每个类有多于一个的代表点使得CURE可以适应非球形的几何形状。

这里再来看看另外一种常见的聚类算法BIRCH。BIRCH算法比较适合于数据量大，类别数K也比较多的情况。它运行速度很快，只需要单遍扫描数据集就能进行聚类。BIRCH的全称是利用层次方法的平衡迭代规约和聚类（Balanced Iterative Reducing and Clustering Using Hierarchies），其实只要明白它是用层次方法来聚类和规约数据就可以了。BIRCH只需要单遍扫描数据集就能进行聚类，那它是怎么做到的呢？BIRCH算法利用了一个树结构来帮助实现快速的聚类，这个数结构类似

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种基于密度的聚类算法，簇集的划定完全由样本的聚集程度决定。聚集程度不足以构成簇落的那些样本视为噪声点，因此DBSCAN聚类的方式也可以用于异常点的检测。