![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习理论
文章平均质量分 74
七七鸭灬
主要研究方向:图像生成、文本生成大模型;OCR文字识别;YOLO目标检测;多模态大模型
展开
-
大模型常见的问题
复读机问题指的是大型语言模型在生成文本时倾向于重复先前的输出,缺乏创新性和多样性QLoRA跟LoRA基本上没什么区别,就是在LoRA的基础上对低秩矩阵进行量化,将低秩矩阵参数的精度降低到Int8,或者Int4。原创 2024-08-05 16:38:26 · 913 阅读 · 0 评论 -
深度学习中常用的激活函数和损失函数
ReLU在正数区域提供线性响应,有助于加速训练并减少梯度消失问题,而Sigmoid在所有区域都是非线性的,输出范围是0到1,适用于二分类问题,但在深网络中容易造成梯度消失。Softmax函数将模型的输出转化为概率分布,适用于多分类问题,并确保所有类别的概率之和为1。交叉熵损失函数衡量模型预测的概率分布与实际标签之间的差异,它鼓励模型对正确的类别分配更高的概率,对错误的类别分配更低的概率。其中,y 是实际的概率分布(),而 p 是模型预测的概率分布。原创 2024-08-04 19:43:41 · 379 阅读 · 0 评论 -
深度学习中对于正则化的理解
深度学习中正则化是用来解决过拟合问题的,常见的正则化方法有L1正则、L2正则、BN、Dropout。原创 2024-08-04 18:08:08 · 354 阅读 · 0 评论 -
CNN卷积神经网络
转置卷积是一种常用的上采样方法,用于增加特征图的宽度和高度,常被应用于生成网络中。原创 2024-08-04 16:21:48 · 919 阅读 · 0 评论 -
对于深度学习中训练模型的体会
1、数据预处理:包括数据清洗、划分数据集 、数据增强等2、定义模型3、定义损失函数和优化器4、配置超参数5、开始训练,观察训练损失和验证损失6、根据训练结果重新调整超参数或者网络直到模型性能满意。原创 2024-08-03 22:30:28 · 755 阅读 · 0 评论 -
对于注意力机制的理解
这是因为自注意力机制相比CNN,无法利用图像本身具有的尺度,平移不变性,以及图像的特征局部性(图片上相邻的区域有相似的特征,即同一物体的信息往往都集中在局部)这些先验知识,只能通过大量数据进行学习。交叉注意力是注意力机制中的一种,它是特点是注意力机制中的Q是查询的条件,KV是被查询的对象,这允许网络融合多模态的输入,或者根据外部输入的条件去指导网络的输出。自注意力是注意力机制中的一种,它是特点是注意力机制中的QKV全部来自同一个输入,这允许每个序列元素都能够参考序列中所有其他元素的信息,原创 2024-08-02 18:51:17 · 265 阅读 · 0 评论 -
对于扩散模型的理解
第二个作用是,直接从高斯噪声中重建清晰的图像是一个极端困难的任务,因此,扩散模型将这一任务分解为多个较小的子任务,即在多个时间步长上逐步去除噪声,极大降低了模型的训练难度。2、在扩散模型的两端分别套上VAE的编码器和VAE的解码器,将扩散模型从像素空间的计算变成潜在空间中的计算,极大的节省了计算成本。第一个作用是为第二阶段的神经网络的训练提供每个时间步中加入的随机高斯噪声和每步加噪后的图片,作为训练的标签。什么是扩散生成模型(扩散生成模型的目的)扩散生成模型中第一阶段的作用是什么。扩散模型的优化/改进。原创 2024-08-01 23:54:39 · 412 阅读 · 0 评论 -
详细介绍MLP的原理
MLP多层感知机的优缺点介绍原创 2024-07-28 14:42:32 · 602 阅读 · 0 评论