- 博客(15)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 NNDL 作业十三 优化算法3D可视化
通过分析在这三个函数曲面上优化算法的表现，我感觉优化问题受到多方面的影响，比如初始参数的设置、初始点的位置、学习率的大小、数据集的大小、不同的损失函数……，比如这篇文章中的这两个函数，有些算法在这个函数上表现很好，但是在另一个函数上就是表现很差。我们不能单方面的说哪个算法好，哪个算法不好，应该具体问题具体分析。运行代码时遇到的一个问题刚开始按照老师的代码，出来的图只有这个曲面，没有轨迹，后来使用同学的代码，这个小球还是一直出不来。之前的代码没有成功绘制轨迹图的原因。
2024-01-01 15:30:02
951
原创 NNDL 作业十二 优化算法2D可视化
1. 被优化函数x2x^2x22. 被优化函数120x2y2201x2y23. 解释不同轨迹的形成原因，分析各个算法的优缺点1）小批量随机梯度下降2）AdaGrad（Adaptive Gradient，自适应梯度下降）3）RMSprop算法4）AdaDelta5）动量法（Momentum）6）Nesterov算法7）Adam算法。
2023-12-25 00:03:06
1732
1
原创 NNDL 作业十一 LSTM
虽然文章中写了一些推导过程，但是感觉不是很能说服我，还是存在一些疑问：1.很多其他文章中写道，减少梯度消失现象的很重要的一个点就是对于。
2023-12-18 23:36:46
1803
2
原创 NNDL 作业十 RNN-BPTT
BPTT一、习题6-1P 推导RNN反向传播算法BPTT.二、习题6-2 推导公式∂zk∂W\frac{\boldsymbol{\partial z}_{\boldsymbol{k}}}{\boldsymbol{\partial W}}∂W∂zk和公式∂zk∂b\frac{\boldsymbol{\partial z}_{\boldsymbol{k}}}{\boldsymbol{\partial b}}∂b∂zk．三、长程依赖问题四、长程依赖问题的解决方案五、习题6-3 当使用公式ht=ht−1+g
2023-12-11 17:46:50
684
原创 NNDL 作业九 RNN - SRN
简单循环神经网络（SRN）1. 实现SRN（1）使用Numpy（2）在1的基础上，增加激活函数tanh（3）使用nn.RNNCell实现（4）使用nn.RNN实现2. 实现“序列到序列”3. “编码器-解码器”的简单实现4. 简单总结nn.RNNCell、nn.RNNnn.RNNCellnn.RNN5. 谈一谈对“序列”、“序列到序列”的理解6. 总结本周理论课和作业，写心得体会1. 实现SRN（1）使用Numpy代码：import numpy as npinputs=np.array([[1
2023-12-04 18:10:56
2031
原创 NNDL 作业八 卷积 导数 反向传播
卷积 导数 反向传播1. 证明宽卷积具有交换性， 即公式rot180(W)⊗~X=rot180(X)⊗~Wrot180\left( W \right) \widetilde{\otimes }X=rot180\left( X \right) \widetilde{\otimes }Wrot180(W)⊗X=rot180(X)⊗W。2. 对于一个输入为100 × 100 × 256的特征映射组， 使用3 × 3的卷积核， 输出为100 × 100 × 256的特征映射组的卷积层， 求其时间和空间复杂度．
2023-11-26 19:08:13
685
1
原创 NNDL 作业七 基于CNN的XO识别
FCN将传统CNN后面的全连接层换成了卷积层，这样网络的输出将是热力图而非类别；同时，为解决卷积和池化导致图像尺寸的变小，使用上采样方式对图像尺寸进行恢复。FCN主要用于语义分割，语音分割需要将各个物体的边界完全区分出来，在语义分割中我们需要将视觉输入分为不同的语义可解释类别。从本质上来说：语音分割就是将图片上的所有像素点进行分类；从效果上来说，就类似于抠图，即对图像中不同的物体进行抠图。
2023-11-14 22:53:09
98
原创 NNDL 作业六 卷积基础知识
卷积核特征作用上边缘检测\mathbf{上边缘检测}上边缘检测121000−1−2−110−120−210−1一侧的权重为正，另一侧的权重为负具体来说，卷积核中的第一行表示在当前像素点的上方，对应的像素点的权重为1、2、1。而第三行表示在当前像素点的下方，对应的像素点的权重为-1、-2、-1。第二行没有权重，是为了使卷积核的中心点不影响检测的结果。锐化\mathbf{锐化}锐化0−10−15−10−10。
2023-11-06 22:08:44
102
1
原创 NNDL 作业五 第四章课后题
如下图，sigmoidsigmoidsigmoid函数的导数，在输入值xxx较大时，其导数接近于0，即梯度趋近于0。这种情况下，梯度下降优化算法在更新参数时，梯度的大小会逐渐减小，导致收敛速度变慢。而如果对xxx进行了零均值化，那么xxx会分布在0附近，此时，sigmoid函数的导数值较大，可以是模型更快的收敛到最优。已知,y=f(w1x1+w2x2+b) y=f\left( w_1x_1+w_2x_2+b \right) y=f(w1x1+w2x2+b) E=12(y^−y)2 E=
2023-10-29 22:51:18
122
1
原创 NNDL 作业四 用numpy和pytorch实现FNN的前向传播与反向传播
【numpy版】#前向传播print('前向传播：h1,h2,o1,o2:',round(h1,2),round(h2,2),round(o1,2),round(o2,2))print('均方误差error：',round(error,2))#反向传播#求梯度。
2023-10-15 21:27:37
142
原创 NNDL 作业三 Softmax回归的风险函数中，如果加上正则化项会有什么影响？
正则化项一般通过添加一个惩罚系数来实现，这个惩罚系数会让模型在拟合训练数据的同时最小化模型参数的大小，从而避免出现过拟合。Rw−N1n1∑Nc1∑Cynlogynλ∣∣w∣∣2其中，λ为正则化系数，w表示模型的权重参数.这里的正则化项是l2正则化。加入正则化项后，优化器在优化模型时除了最小化分类误差，还需要最小化正则化项的值。这样做的目的是平衡模型的复杂度和拟合训练数据的能力。
2023-10-11 12:39:56
122
原创 NNDL 作业二 损失函数与评价指标
£yfx;θ12y−fx;θ2£yfx;θ21y−fx;θ2式中，fx;θf\left( x;fx;θ是模型的输出值，yyy是真实值。在下图中，若绿色直线上的点为模型预测值，蓝点为模型真实值，则平方损失即为红色线段长度的平方。交叉熵主要用于度量同一个随机变量x\mathbf{x}x的标签的预测分布Q与真实分布£yfx;θ−yTlogfx;θ£yfx;θ−yT。
2023-09-24 10:03:25
146
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人