- 博客(701)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【智能体】Ch3-提升模型性能的定向学习(Enhancing model performance with targeted learning)
在这篇文章中，我们讨论了生成式 AI Agent 的基础构建模块，它们的组成以及将其有效地实施为认知架构的一些方法。以下是一些关键要点：1.Agent 通过利用工具来扩展语言模型的能力，能够访问实时信息、建议现实世界中的行动，并自主规划和执行复杂任务。Agent 可以利用一个或多个语言模型来决定何时以及如何在不同状态间进行转换，并使用外部工具来完成模型自身难以或不可能完成的复杂任务。
2025-10-08 23:40:23
89
原创 【智能体】Ch2-工具(Tools)
简而言之，扩展、函数和数据存储构成了一些不同类型的工具，可供Agent在运行时使用。每种工具都有其特定目的，Agent开发人员可以根据需要将它们一起使用或独立使用。
2025-10-08 15:40:58
75
原创 【智能体】Ch1-什么是Agents
Agent在其最基本形式上可以定义为一个应用程序，它试图通过观察世界并利用其可支配的工具来达到目标。Agent是自主的，可以独立于人为干预进行操作，特别是在提供了明确的目标或任务时。Agent还可以主动采取措施以达成其目标。即使在人类未明确指示的情况下，Agent也能推理出下一步应该做什么以实现最终目标。虽然AI中的Agent概念非常普遍和强大，这篇文章将重点关注生成式AI模型所能构建的特定类型的Agent。为了理解Agent的内部工作机制，首先介绍驱动Agent行为、行动和决策的基础组件。
2025-10-03 18:36:03
98
原创 【提示工程】Ch3-最佳实践（Best Practices）
本文探讨了提示工程。我们学习了各种提示技术，例如：零提示（zero shot prompting）少样本提示（few shot prompting）系统提示（system Prompting）角色提示（role Prompting）上下文提示（contextual prompting）逐步回溯提示（step-back prompting）思维链（chain of thought）自我一致性（self consistent）
2025-10-03 18:27:18
286
原创 【提示工程】Ch2(续)-提示技术（Prompt Technique）
如果你想亲手体验这棵“思维树”的生长细节，这里有一份非常棒的 Jupyter Notebook，基于论文《Large Language Model Guided Tree-of-Thought》完整复现了 ToT 框架：从树节点扩展、价值评估、到最佳路径回传，每一步都配有可运行代码与可视化，直接点开就能把玩。然而，传统 CoT 采用贪婪解码，一条路走到黑，容易陷入“一着不慎，满盘皆输”的窘境。多模态提示是一个独立的问题，它指的是一种技术，您可以使用多种输入格式来指导大型语言模型，而不是仅仅依赖文本。
2025-09-26 14:57:14
261
原创 大模型-损失函数篇
KL（Kullback-Leibler）散度衡量了两个概率分布之间的差异。DKLP∥Q∑xPxlogPxQxDKLP∥Qx∑PxlogQxPx信息增益是在决策树算法中用于选择最佳特征的一种评价指标。信息增益衡量了在特征已知的情况下，将样本集合划分成不同类别的纯度提升程度。它基于信息论的概念，使用熵来度量样本集合的不确定性。HD−HD∣AHD−HD∣A其中，HDH(D)HD。
2025-09-26 11:20:42
93
原创 【提示工程】Ch2-提示技术（Prompt Technique）
此外，思维链提示在不同版本或规模的 LLM 之间表现出较强的鲁棒性，即提示效果受模型变动的影响相对较小，相比不引入推理链的方法更为稳定。有趣的是，模型采用了将17年的增量逐步累加的方式。你需要的少样本提示（few shot）示例数量取决于几个因素，包括任务的复杂性、示例的质量以及你使用的生成式 AI（通用 AI）模型的能力。逐步回溯提示（Step-Back Prompting） 是一种技术，通过引导大语言模型（LLM）首先思考与特定任务相关的更广泛问题，然后将得到的答案作为后续具体任务提示的输入。
2025-09-19 14:01:44
340
原创 【提示工程】Ch1-提示工程介绍及参数配置
在理解大型语言模型的输入与输出机制时，文本提示（有时也包括图像等其他模态信息）是模型生成特定预测结果的基础输入。**你并不需要成为数据科学家或机器学习专家——任何人都可以编写提示词。**然而，要写出真正高效的提示却并不简单。提示的有效性受到多方面因素的影响，包括所选用的模型、训练数据、模型配置、措辞选择、风格与语气、结构安排以及上下文信息等。正因如此，提示工程本质上是一个需要不断迭代和优化的过程。不恰当的提示可能导致回答模糊、不准确，甚至阻碍模型生成有价值的输出。
2025-09-19 12:38:52
396
原创 大模型-Attention面试
Multi-Query Attention 在所有注意力头上共享 key 和 value。Grouped query attention：介于 multi head 和 multi query 之间，多个 key 和 value。
2025-09-18 17:08:56
86
原创 大模型-Transformer原理与实战篇
Transformer是一种用于自然语言处理(NLP)和其他席列到序列(sequence-to-sequence)任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制(self-attention mechanism)这是一个关键的创新，使其在处理序列数据时表现出色。
2025-09-18 16:57:48
592
原创 大模型-评测面
目前用来衡量一个模型好不好的方法，基本都是基于一些学术 benchmark，比如在某一个 NLP 任务上构建一个测试数据集，然后看测试数据集上的准确率。当前 SuperGLUE、GLUE，包括中文的 CLUE 的 benchmark 都不太适合评估大模型。理论上我们可以和聊天机器人聊任何事情，但很多话题或任务在现存的 benchmark 中根本不存在。，甚至更进一步，用测试集直接对模型进行“特训”，如此一来表现必然更好；这些大模型在训练时几乎把整个互联网的数据都扫了一遍，因此。
2025-09-18 13:18:27
85
原创 大模型-激活函数篇
FFNxfxW1b1W2b2FFNxfxW1b1W2b2xxx是输入向量W1W_1W1和W2W_2W2是可训练权重矩阵b1b_1b1和b2b_2b2是偏置项fff是非线性激活函数（如 ReLU、GeLU 或 Swish）补充说明在典型实现中，中间层的维度会扩展到 (4h)（其中 (h) 是隐藏层维度），然后再投影回原始维度。这种"扩展-压缩"的设计增加了模型的表达能力。GeLUx≈。
2025-09-18 13:11:40
69
原创 大模型-Layer Normalization 篇
有区别。Post LNa. 位置：layernorm 在残差链接之后b. 缺点：PostLN 在深层的梯度范式逐渐增大，导致使用 Post-LN 的深层 Transformer 容易出现训练不稳定的问题Pre-LNa. 位置：layernorm 在残差链接中b. 优点：相比于 Post-LN，Pre-LN 在深层的梯度范式近似相等，所以使用 Pre-LN 的深层 Transformer 训练更稳定，可以缓解训练不稳定问题c. 缺点：相比于 Post-LN，Pre-LN 的模型效果略差。
2025-09-18 13:01:06
217
原创 大模型-基础面
*目前主流的开源模型体系分三种：**· **第一种：Prefix Decoder 系** · 介绍：输入双向注意力，输出单向注意力 · 代表模型：ChatGLM、ChatGLM2、U-PaLM· **第二种：Causal Decoder 系** · 介绍：从左到右的单向注意力 · 代表模型：LLaMA-7B、LLaMA 衍生物· **第三种：Encoder-Decoder** · 介绍：输入双向注意力，输出单向注意力 · 代表模型：T5、Flan-T5、BART
2025-09-18 12:32:14
213
原创 新手小白入门ML如何使用ML算法大杀四方
# 新手小白入门ML如何使用ML算法大杀四方上一篇中，我们详细梳理了机器学习算法时间发展路线, 接下来我们完全聚焦于 **“怎么用”** ，从功能和应用的角度来梳理这些算法。对于小白来说，最容易上手的理解方式就是：**当你遇到一个问题时，你首先应该问自己“这是一个什么类型的问题？”，然后根据问题类型去选择可能有效的算法。**机器学习任务大体可以分为以下几类：**分类、回归、聚类、降维** 等。下面我们用一个简单的流程图来帮你快速定位，然后再详细解释每个算法。### 一、快速定位：我该用什
2025-09-16 12:36:42
718
原创 适合新手小白的ML入门学习路线
# 适合新手小白的ML入门学习路线这篇文章非常适合新手小白的入门请求！我们从“是什么、为什么、怎么发展”的角度，用一条清晰的时间线来梳理机器学习算法的发展历程。我会用一条“从简单到复杂，从理论到实践”的脉络，为你勾勒出这幅宏大的技术画卷。### 核心思想先行：机器学习是什么？简单说，**机器学习是让计算机从数据中学习规律，并利用这些规律对未知数据进行预测或决策的一门学科。** 它不像传统编程那样需要人为制定所有规则，而是通过“喂”给算法大量数据，让算法自己找到规则。
2025-09-16 12:34:26
649
原创 基于whisper和ffmpeg语音转文本小程序
加载预训练模型（初始化模型参数和结构）读取并预处理音频数据使用模型进行声学特征提取和文本解码输出文字识别结果将结果保存到文件。
2025-04-24 17:13:31
1870
原创 聚类（Clustering）基础知识3
3个簇和5个簇比较糟糕：因为存在低于平均轮廓分数的聚类，轮廓图的大小波动很大。4个簇轮廓分数高，且每个簇的轮廓大小比较均衡。2个簇轮廓分数高，但2个簇的大小不均衡。聚类很难评估，但实际应用中很有用。最小簇间距离/最大簇的半径。到与其所属簇中其它点的平均距离。对于其中的一个样本点。SI值小的点为边缘点。
2025-03-30 23:10:32
1039
原创 聚类（Clustering）基础知识2
知识回顾问题描述给定NNN个样本点X={xi}i=1NX = \{x_i\}_{i=1}^NX={xi}i=1N进行聚类。输入数据集 D={x1,x2,...,xN}D = \{x_1, x_2, ..., x_N\}D={x1,x2,...,xN}，簇数目为KKK。算法步骤时间复杂度以下是K均值聚类算法的运行过程示意图，展示了算法在不同迭代次数下的变化情况： 在每次迭代中，算法首先随机选择KKK个数据点作为初始簇中心（Iteration 1）。然后，算法将每个数据点指派到最近的簇中心（Ite
2025-03-30 22:36:24
1424
原创 聚类（Clustering）基础知识1
聚类是一种数据分析方法，旨在发现数据中分组聚集的结构。根据数据中样本与样本之间的距离或相似度，将样本划分为若干组/类/簇（cluster）。簇内的点与其“中心”较为相近（或相似），和其他簇的“中心”较远，这样的一组样本形成的簇。簇的中心常用质心（centroid）表示，即簇内所有点的平均，或用中心点（medioid）表示，即簇内最有代表性的点。基于概念的簇：同一个簇共享某种性质，这个性质是从整个结合推导出来的。使用相似性/距离函数。
2025-03-30 14:18:23
1488
原创 降维（DimensionalityReduction）基础知识2
令 x1,x2,...,xN∈RDx_1, x_2, ..., x_N \in \mathbb{R}^Dx1,x2,...,xN∈RD，构造相似性图，表示结点之间的邻接关系： - ε\varepsilonε邻域 - KKK近邻 通过对图的拉普拉斯矩阵进行特征值分解，得到映射(eigenmap) 邻接矩阵（Affinity matrix）WWW的元素wijw_{ij}wij表示结点viv_ivi和vjv_jvj的相似度，即为边eije_{ij}eij的权重。 通常两个结点之间的相
2025-03-28 19:51:34
1406
原创 降维（DimensionalityReduction）基础知识1
数据空间的维度可能非常大。我们可以通过一些例子来理解高维数据的概念。 下图展示了不同类型的高维数据：三维散点图：图中展示了一个三维空间中的数据分布。可以看到，数据点在空间中形成了不同的簇，这有助于我们理解数据的结构和模式。人脸图像：这组图像展示了不同人脸的高维特征。每个图像都可以看作是一个高维向量，包含了像素值等信息。文档：文档也可以表示为高维向量，其中每个维度可能代表一个特定的词汇或特征。基因表达数据：这类数据通常包含成千上万的基因表达水平，基因每个可以看作是一个维度。MEG（脑磁图）读数：
2025-03-27 16:08:47
931
原创 自2000-2024年的自然语言处理及大模型相关的18篇经典论文汇总
以上论文涵盖了自然语言处理和大模型领域的关键进展，从词向量到预训练模型，再到多模态和生成式AI，展示了NLP技术的快速演进。如果需要更详细的论文列表或具体内容，可以参考相关资源。
2025-03-21 21:11:38
2173
原创 LiteratureReading:[2023] GPT-4: Technical Report
OpenAI 是一个致力于发展通用人工智能（AGI）的非营利性研究组织，它由Elon Musk、Sam Altman、Greg Brockman、Ilya Sutskever等人于2015年共同创立。OpenAI 的目标是确保人工智能技术的发展能够惠及全人类，并且以安全和负责任的方式推进。OpenAI 开发了一系列重要的人工智能模型和工具，包括但不限于GPT（生成预训练转换器）系列模型，这些模型在自然语言处理领域取得了显著的成就。
2025-03-21 20:55:52
1684
原创 LiteratureReading:[2022] Reformer: The Efficient Transformer
所属机构：加州大学伯克利分校（U.C. Berkeley）和谷歌研究（Google Research）。电子邮件：kitaev@cs.berkeley.edu所属机构：谷歌研究（Google Research）。电子邮件：lukaszkaiser@google.com所属机构：谷歌研究（Google Research）。电子邮件：levskaya@google.com大型Transformer模型在许多任务上通常能够达到最先进的结果，但训练这些模型可能非常昂贵，尤其是在处理长序列时。
2025-03-21 20:43:22
870
原创 LiteratureReading:[2021] Learning Transferable Visual Models From Natural Language Supervision
作者名单及贡献：等贡献作者，通讯作者之一。：等贡献作者，通讯作者之一。Jack Clark机构信息所有作者均隶属于OpenAI，位于美国加利福尼亚州旧金山，邮编为94110。通讯作者和为通讯作者，负责与期刊编辑和读者的联系。这种整理方式清晰地展示了每位作者的贡献、所属机构以及联系方式，便于读者了解论文的作者背景并进行进一步的学术交流。最先进的计算机视觉系统被训练来预测一组固定的预定义对象类别。这种受限的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他视觉概念。
2025-03-21 19:50:52
1242
原创 LiteratureReading:[2019] BioBERT: a pre-trained biomedical language representation model for……
和这两位作者的名字后面有相同的标记（1,†），表示他们对论文的贡献是相等的，即共同第一作者。他们隶属于韩国大学计算机科学与工程系，位于韩国首尔。隶属于Clova AI研究部门，Naver Corp.，位于韩国首尔。和Sunkyu Kim这两位作者同样隶属于韩国大学计算机科学与工程系，位于韩国首尔。Chan Ho So隶属于韩国大学生物信息学跨学科研究生项目，位于韩国首尔。
2025-03-21 19:22:55
1104
1
原创 LiteratureReading:[2022] ChatGPT: LargeScaleGenerativePretrainingforConversationalResponseGeneration
[2022] ChatGPT: Large-Scale Generative Pre-training for Conversational Response Generation** 作者：OpenAI 贡献：提出了ChatGPT模型，展示了生成式预训练模型在对话任务中的强大能力。
2025-03-21 15:26:17
996
原创 LiteratureReading:[2020] ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generator
机构：斯坦福大学（Stanford University）电子邮件备注：Kevin Clark是斯坦福大学的研究人员，专注于计算机科学领域。机构电子邮件备注：Minh-Thang Luong是Google Brain团队的成员，Google Brain是Google的一个研究项目，专注于人工智能和机器学习。Quoc V. Le机构电子邮件备注：Quoc V. Le同样隶属于Google Brain，参与人工智能和机器学习的研究。机构：斯坦福大学 & CIFAR Fellow电子邮件备注。
2025-03-21 14:57:42
905
原创 LiteratureReading:[2019] XLNet: Generalized Autoregressive Pretraining for Language Understanding
这段文字列出了论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》的作者名单及其所属机构，以及他们的电子邮件地址。（杨植麟）所属机构：卡内基梅隆大学（Carnegie Mellon University）电子邮件：rhiliny@cs.cmu.eduZihang Dai（戴子航）所属机构：卡内基梅隆大学（Carnegie Mellon University）和Google AI Brain Team。
2025-03-21 14:14:45
1296
原创 LiteratureReading:[2020] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Trans
可能是这篇论文的主要作者之一，通常位于列表的首位。另一位主要作者，可能在研究中扮演了重要角色。同样是主要作者之一，参与了研究工作。参与了研究，可能是论文的共同作者。贡献了研究工作，是论文的作者之一。参与了研究，是论文的共同作者。Yanqi Zhou参与了研究，是论文的作者之一。Wei Li贡献了研究工作，是论文的共同作者。参与了研究，是论文的作者之一。此外，论文的编辑是Ivan Titov。这些作者的联系地址是位于美国加利福尼亚州山景城的Google公司。
2025-03-20 13:29:48
1344
原创 LiteratureReading:[2019] Language Models are Unsupervised Multitask Learners (GPT-2)
…自然语言处理任务，例如问答、机器翻译、阅读理解和文本摘要，通常采用在特定任务数据集上进行监督学习的方法。我们展示了当语言模型在一个新的包含数百万网页的WebText数据集上进行训练时，无需任何明确的监督，语言模型就能开始学习这些任务。当模型在给定文档和问题的情况下进行条件化，生成的答案在CoQA数据集上达到了55的F1分数，匹配或超过了4个基线系统中3个的性能，而没有使用127,000多个训练样本。语言模型的能力对于零样本任务迁移的成功至关重要，并且增加其能力可以在任务间以对数线性的方式提高性能。
2025-03-20 12:39:40
911
原创 LiteratureReading:[2018] BERT: Pre-training of Deep Bidirectional Transformers for Language Understa
是Google AI Language团队的一名研究人员，参与了BERT模型的开发工作，对自然语言处理领域有重要贡献。：同样隶属于Google AI Language团队，也是BERT模型开发团队的重要成员之一。Kenton Lee：作为Google AI Language团队的成员，Kenton Lee在自然语言处理技术的研究和开发中扮演了关键角色。：是Google AI Language团队的一名资深研究员，对BERT模型的研究和开发做出了显著贡献。
2025-03-20 12:19:23
1035
原创 集成学习（Ensemble Learning）基础知识3
XGBoost（eXtreme Gradient Boosting）是一种高效的梯度提升算法，具有以下特点：自定义损失函数：XGBoost 允许用户自定义损失函数，通过二阶泰勒展开来近似损失函数。正则化项：包含叶子节点数目和叶子节点的分数的正则化项，有助于防止过拟合。建树- 支持分裂点近似搜索- 稀疏特征处理- 缺失值处理并行计算：提高训练效率。内存缓存：优化内存使用。深入理解XGBoost。
2025-03-20 11:55:49
1543
原创 集成学习（Ensemble Learning）基础知识2
前文链接 Boosting是一种集成学习算法，它通过组合多个弱学习器来构建一个强分类器。 Boosting学习框架： 弱学习器是按顺序学习的。 Boosting的核心思想是逐步提高模型的性能。首先，我们训练一个基础的弱学习器，然后我们训练第二个弱学习器，它专注于第一个模型预测错误的样本。这个过程不断重复，每个新的弱学习器都试图纠正前一个模型的错误。最后，我们将所有弱学习器的预测结果加权组合，形成最终的强学习器。 这种方法的优点是它可以显著提高模型的准确性，特别是当弱学习器的性能略优于随机猜测时。然
2025-03-20 11:54:13
1292
原创 集成学习（Ensemble Learning）基础知识1
需要注意的是，上述推导假设基学习器之间是相互独立的。每个决策树都是在数据集的一个Bootstrap样本上训练的，因此它们可能会犯不同的错误，当这些树的预测结果被平均时，一些错误可能会相互抵消，从而降低整体的方差。每个基学习器都是在数据的不同子集上训练的，因此它们可能会犯不同的错误，当这些模型的预测结果被整合时，可以相互抵消一些错误，从而得到更准确的预测。每个基模型都是在数据的不同子集上训练的，因此它们可能会犯不同的错误，当这些模型的预测结果被整合时，可以相互抵消一些错误，从而得到更准确的预测。
2025-03-20 11:52:15
1179
原创 LiteratureReading:[2018] Improving Language Understanding by Generative Pre-Training (GPT-1)
这张图片列出了四位与 OpenAI 相关的研究人员及其电子邮件地址。Alec Radford 是 OpenAI 的研究人员之一，他在人工智能和机器学习领域有丰富的研究经验。他参与了多个重要的项目，包括 GPT（G Preenerative-trained Transformer）系列模型的研究和开发。Karthik Narasimhan 同样是 OpenAI 的研究人员，专注于自然语言处理和机器学习。他的工作涉及开发能够理解和生成自然语言的模型，对提升语言理解和生成能力有重要贡献。
2025-03-20 11:51:00
1221
原创 LiteratureReading:[2017] Attention Is All You Need
隶属于Google Brain团队，Google Brain是Google的一个研究项目，专注于人工智能和机器学习的研究。他的电子邮件地址是avaswani@google.com。- 同样隶属于Google Brain团队，电子邮件地址为noam@google.com。- 隶属于Google Research，这是Google的一个研究部门，负责广泛的技术研究，包括机器学习、计算机视觉等。电子邮件地址是nikip@google.com。
2025-03-19 17:32:29
1436
原创 LiteratureReading:[2015] Neural Machine Translation of Rare Words with Subword Units
可能是一位研究人员或学者，专注于自然语言处理或机器翻译领域。- 同样可能是一位研究人员或学者，可能与Rico Sennrich在同一研究领域工作。- 也是一位研究人员或学者，可能与前两位作者合作进行研究。他们均隶属于爱丁堡大学的信息学院（School of Informatics, University of Edinburgh）。这是一所位于苏格兰首府爱丁堡的世界著名学府，以其在计算机科学、人工智能和信息学等领域的研究而闻名。此外，还提供了他们的电子邮件地址，格式为。
2025-03-19 17:09:41
798
党史（主题可替换）知识学习系统源文件
2024-02-21
《诗梦游记》项目源文件
2024-02-21
基于Flask框架的图像识别小程序
2024-02-21
医疗病例数据信息（共1193条病例信息）
2024-02-21
基于Flask框架的医疗专家系统小程序
2024-02-21
深度学习实验报告+代码
2022-11-15
这算不算是本末倒置，这种学习方式效果真的好吗？
2021-12-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人