- 博客(11)
- 收藏
- 关注
RSS订阅原创 【动手学大模型】第六章 验证迭代
以调用和发挥大模型的大模型开发相较于传统的AI开发更注重验证迭代。在使用LLM构建应用程序时，可能会经历以下流程，首先，你会在一到三个样本的小样本中调整 Prompt ，尝试使其在这些样本上起效。随后，当你对系统进行进一步测试时，可能会遇到一些棘手的例子，这些例子无法通过 Prompt 或者算法解决。这就是使用 LLM 构建应用程序的开发者所面临的挑战。在这种情况下，你可以将这些额外的几个例子添加到你正在测试的集合中，有机地添加其他难以处理的例子。
2023-11-24 14:45:52
122
1
原创 【动手学大模型】第四章 数据库搭建
向量数据库是用于高效计算和管理大量向量数据的解决方案。向量数据库是一种专门用于存储和检索向量数据（embedding）的数据库系统。它主要关注的是向量数据的特性和相似性。在向量数据库中，数据被表示为向量形式，每个向量代表一个数据项。这些向量可以是数字、文本、图像或其他类型的数据。向量数据库使用高效的索引和查询算法来加速向量数据的存储和检索过程。Langchain 集成了超过 30 个不同的向量存储库。我们选择 Chroma 是因为它轻量级且数据存储在内存中，这使得它非常容易启动和开始使用。
2023-11-20 21:17:43
394
2
原创 【动手学大模型】第三章 大模型开发流程及架构
开发以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用称为。开发大模型相关应用，不需要实现大语言模型，而是通过调用API或开源模型来实现核心的理解与生成，通过prompt Enginnering来实现大语言模型的控制。将大模型作为一个调用工具，通过 Prompt Engineering、数据工程、业务逻辑分解等手段来充分发挥大模型能力。大语言模型的两个核心能力：指令理解 与 文本生成 提供了复杂业务逻辑的简单平替方案。
2023-11-20 15:37:32
918
1
原创 【动手学大模型】第二章 调用大模型API
最初是NLP研究中为下游任务设计出来的一种任务专属的输入模板，类似于一种任务对应一种prompt。在ChatGPT推出并获得大量应用之后，开始被推广为给大模型的所有输入。即，每一次访问大模型的输入为一个Prompt，而大模型给我们的返回结果为Completion。
2023-11-18 21:19:05
2256
原创 【动手学大模型】第一章 大模型简介
语言建模最早使用统计学习的方法，通过前面的词汇来预测下一个词汇。其在理解复杂语言规则方面存在一定局限性。之后引入了深度学习的思想，使用神经网络模型来更好的捕捉语言中的复杂关系。随着Transformer架构的神经网络模型引入，通过大量的文本数据训练，模型可以深入理解语言规则和模式。同时研究人员发现，随着语言模型规模的扩大，比如增加模型大小和使用更多的训练数据，模型展现出了惊人的能力，也就是大语言模型时代。
2023-11-18 20:05:21
402
1
原创 【动手学深度学习】Task4 多层感知机
主要学习第四章：多层感知机感知机是一个二分类模型，它的求解算法等价于使用批量大小为1的梯度下降。它不能拟合XOR函数，导致了第一次AI寒冬这个task主要是学习了感知机的原理、代码实现，以及模型的一些有关知识b。
2023-03-28 21:33:50
162
原创 【动手学深度学习】线性神经网络
线性回归是对哪位输入的加权，外加偏差使用平方损失来衡量预测值和真是值的差异线性回归有显示解线性回归可以看做单层神经网络梯度下降通过不断沿着反梯度方向更新参数求解。小批量随机梯度下降是深度学习默认的求解算法两个重要的超参数：学习率，学习率定义初始化模型参数 w,b定义模型。定义损失函数：均方损失定义优化算法：小批量随机梯度下降Softmax回归是一个多分类问题。使用Softmax操作子得到每个类的预测置信度使用交叉熵来衡量预测和标号的区别。
2023-03-23 23:59:08
72
原创 线性模型直播笔记
对于单标签的分类任务，一条样本只属于一个类型，故称其是one-hot，只有一个位置的概率是1,其余为0.相比于回归任务度量是两个数值的差异，分类任务需要度量的是两个概率分布的差异。多元函数对各个参数求偏导，然后将求得的偏导以向量的形式表示出来就叫做。静态图和动态图，torch动态图反向传播的时候会把图销毁。用来表现模型预测结果与实际数据的差距程度，越小效果越好。对于已知的一条样本，标签y称为one-hot的形式。数据分析：预测目标、数据的大致分布、当前数据的规模。分类模型输出的是一个概率分布。
2023-03-23 23:58:58
53
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人