- 博客(5)
- 收藏
- 关注
RSS订阅原创 第二课堂第5次笔记
embedding过程： 下载相关文件作为知识库后， 将文件分块 (防止数据过大超过上限) ，分块后的文件被映射为向量组， 以每一块文件作为一元组， 将所有元组储存为向量数据库。即， 我们每一次访问大模型的输入为一个 Prompt， 而大模型给我们的返回结果 则被称为 Completion。一般而言， 我们可以设置两种 prompt， 一种为 System prompt, 即图中所注, 它是对于你所设计的大模型的“人设”概述。one- hot编码[猫(1,0),狗(0,1)]: 向量太长。
2024-08-26 11:32:18
235
原创 第二课堂第四次笔记
LLM定义与特点：处理海量文本，多者可具备数百亿参数，理解语言深度，展现涌现能力。能够聚焦于输入序列中的重要部分，类似于人类阅读时关注关键词。缺点：模型训练数据不足，模型参数设置不足，模型结构设计问题。未来发展趋势与潜力：图像生成技术，人工智能应用，创意产业。涌现能力简介，基座模型的多元应用能力，支持对话统一入口。主要组成部分：文本编码器，图像解码器，噪声预测器。是一种基于深度学习的文本得到图像的生成模型。规模巨大，预训练与微调机制，上下文感知能力。应用与前景：创意性与多样性扩展，二、建立自己的大模型。
2024-08-07 11:22:22
237
原创 第二课堂第三次笔记
这里需要注意的是，梯度表示的是各点处的函数值减小最多的方向。因此，无法保证梯度所指的方向就是函数的最小值或者真正应该前进的方向。这里所说的最优参数是指损失函数取最小值时的参数，这里通过巧妙地使用梯度来寻找函数最小值(或者尽可能小的值)的方法就是梯度法。因此，在寻找函数的最小值(或者尽可能小的值)的位置的任务中，要以梯度的信息为线索，决定前进的方向。此外，当函数很复杂且呈扁平状时，学习可能会进入一个(几乎)平坦的地区，陷入被称为“学习高原”的无法前进的停滞期。反向传播：计算损失函数相对于每个参数的梯度。
2024-07-29 16:46:12
150
原创 第二课堂第二次课程笔记
法一: df=pd. read _ csv('train. csv', names=['表头1','表头2',....], index _ col=", header=0)5.构建frame:frame=pd. DataFrame(np. arange(12). reshape(3,4),(构建从0-11, 3行4列的矩阵)column={'header1':'表头1','header2':'表头2',……columns=['X','B','F','G']) (列索引)
2024-07-22 19:51:42
388
原创 第二课堂第一次课程笔记
1.miniconda ：在网址https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Windows-x86_64.exe下载，按照引导安装。空行与代码缩进不同，空行并不是 Python 语法的一部分。但是空行的作用在于分隔两段不同功能或含义的代码，便于日后代码的维护或重构。⑥空行:函数之间或类的方法之间用空行分隔，表示一段新的代码的开始。缩进的空格数是可变的，但是同一个代码块的语句必须包含相同的缩进空格数。
2024-07-18 16:03:03
476
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人