- 博客(4)
- 收藏
- 关注
RSS订阅原创 神经网络与深度学习-第四次作业-循环神经网络与深度学习展望
微调技术通常采用基于梯度下降的优化算法，不断地调整模型的权重和偏置，以最小化损失函数，从而提高模型的表现能力。基于前面提到的预先富集的数据，从里面采样prompt输入，同时丢给初始的语言模型和我们当前训练中的语言模型（policy），得到俩模型的输出文本y1，y2。语言模型预训练的目标是预测下一个单词的概率，掩码语言模型预训练的目标是根据输入的部分文本预测掩码位置上的单词。即，输入 [提示(prompt)，模型生成的文本] ，输出一个刻画文本质量的标量数字。
2024-04-29 18:43:53
833
原创 神经网络与深度学习-第三次作业-深度视觉应用
VGG-16的网络结构实现代码如下所示（1）对于非残差网络，层数的增加是有上限的，随着层数的增加训练误差不增反降。而残差网络能够做到随着层数的增加，训练误差逐渐减少。（2）梯度消失问题对于如下神经网络：根据链式法则，给出∂C∂b1∂b1∂Cσ′z1×w2×σ′z2×w3×σ′z3×w4×σ′z4×∂a4∂C对于sigmoid函数σ，其导数σ′01/4。
2024-04-22 16:29:30
694
原创 神经网络与深度学习-第二次作业-卷积神经网络基础
全连接网络连接权过多，算的慢，难收敛，同时可能进入局部极小值，也容易产生过拟合问题。而卷积神经网络减少了权值连接，每一个节点之连到上一次的少数神经元，即局部连接网络，减少了计算量.信息分层处理，每一层在上层提取特征的基础上获取进行再处理，得到更高级别的特征。解决难收敛、权值过多产生过拟合的问题。
2024-04-08 09:27:22
670
1
原创 神经网络与深度学习-第一次作业-线性回归与多层感知机
θθ1θ2...θnTxx1x2...xnTyhθx假设给定样本xiyiJθ21∑i1myi−−hθxi))2目标：找到超平面参数θ，使得代价函数最小。
2024-03-31 09:52:57
880
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人