- 博客(12)
- 收藏
- 关注
RSS订阅原创 【22-23 春学期】AI作业11-RNN
在每个时间步，解码器使用前一个时间步的输出和隐藏状态，以及编码器的输出表示，来生成下一个时间步的输出。在每个时间步，RNN会将当前输入和前一个时间步的隐藏状态结合起来，以生成当前时间步的输出和新的隐藏状态。然而，由于时间展开的限制，BPTT在处理较长序列和长期依赖关系时可能会面临挑战，而一些改进的算法，如长短期记忆网络（LSTM）和门控循环单元（GRU），被设计来解决这些问题。然而，在生成阶段，通常使用自回归的方式，将前一个时间步的生成结果作为下一个时间步的输入，逐步生成输出序列。
2023-05-29 18:08:07
119
原创 【22-23 春学期】AI作业12-LSTM
LSTM通过引入输入门、遗忘门和输出门的机制，解决了传统RNN中的梯度消失和梯度爆炸问题，同时能够更好地捕捉长期依赖关系。通过自适应地控制输入、遗忘和输出的权重，LSTM可以更好地处理输入序列中的长期依赖关系，并在各种任务中取得较好的性能，如语音识别、机器翻译和文本生成等。通过遗忘门、输入门和输出门的组合，LSTM能够在训练过程中自适应地更新记忆状态，选择性地保留或遗忘过去的信息，并生成适当的输出。总结来说，GRU通过更新门和重置门的引入，实现了更好的梯度流动和长期依赖建模，同时减少了参数的数量。
2023-05-28 10:01:41
103
原创 【22-23 春学期】AI作业10-经典卷积网络
AlexNet在2012年的ImageNet竞赛中获得了冠军，并在之后的很多任务中都表现出了非常出色的性能，包括2012年的ILSVRC、2014年的Cora、2015年的ImageNet-1K和2017年的ImageNet-10K等。在传统的卷积神经网络中，信号会通过一系列的层进行传递，而在ResNet中，残差块允许跳过某些层，直接将输入信号添加到输出中。在训练过程中，LeNet-5通过最小化预测值和真实值之间的差距来学习图像的特征，并且使用的卷积核更大，池化层和全连接层的数量也更多。
2023-05-21 12:34:25
97
原创 【22-23 春学期】AI作业8-卷积2
在卷积操作中，步长越大，则输出的特征图尺寸越小。零填充是将输入向量在边界上用零进行填充，周期性填充是在输入向量移动的过程中，在相邻的特征图之间插入零元素。在训练卷积神经网络时，通常需要通过调整步长和填充来优化感受野的大小，以确保模型能够正确地捕捉输入图像中的不同尺度和类型的特征。权值共享则是指在卷积神经网络中，不同层的神经元之间共享权值参数，从而减少了参数数量和计算量，提高了模型的效率和性能。池化是一种经典的图像处理技术，主要用于特征缩放和提取，可以增加低分辨率图像的细节和保留高分辨率图像的大小。
2023-05-09 13:00:39
22
原创 【22-23 春学期】AI作业7-卷积
特征图可以反映输入的空间信息和抽象程度，例如在卷积神经网络中，越靠近输入层的特征图越接近原始图像，越靠近输出层的特征图越接近目标类别。卷积的过程是将一个小的矩阵（称为卷积核或滤波器）在一个大的矩阵（称为输入或图像）上滑动，并对每个位置进行点乘求和，得到一个新的矩阵（称为输出或特征图）。浮雕卷积核：相当于对输入图像进行浮雕运算，即用一侧的像素减去另一侧的像素，并加上一个偏移量，使图像增加阴影和光照效果。Laplace卷积核：中心值为正，周围为负，和为零，可以实现图像的边缘检测效果，突出边缘轮廓和细节。
2023-05-04 22:05:34
40
原创 【22-23 春学期】AI作业6-误差反向传播
计算图可以用于优化计算过程，例如在反向传播算法中，计算图可以将损失函数对参数的偏导数分解成多个简单的偏导数相乘，从而更方便地计算梯度。此外，计算图还可以用于自动微分，即自动计算复杂函数的导数，从而加速机器学习算法的实现。需要注意的是，反向传播算法中的链式法则是关键步骤，它将复杂的损失函数对参数的偏导数分解成一系列简单的偏导数相乘。计算图（computational graph）是一种用于表示计算过程的图形模型，它可以将复杂的计算过程分解成多个简单的计算步骤，并可视化这些计算步骤之间的依赖关系。
2023-04-25 23:46:59
63
原创 【22-23 春学期】AI作业5-深度学习基础
生物神经元和人工神经元之间的区别在于，生物神经元具有更复杂的结构和功能，而人工神经元是一种简化的模型。深度学习是机器学习的一种，它是一种通过构建多层神经网络来模拟人脑神经元之间的连接方式，从而实现对数据的学习和理解。因此，可以说深度学习是机器学习的一种，而机器学习又是实现人工智能的一种方法。在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。深度学习其实算是神经网络的延伸，和神经网络一样，深度学习也是一个算法的集合，只不过这里的算法都是基于多层神经网络的新的算法。
2023-04-15 09:51:52
167
原创 【22-23春学期】AI作业4-无监督学习
奇异值分解是唯一的。K-means算法的基本思想是将数据点分为K个簇，每个簇内的数据点的距离最近，而簇间的距离最远。它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。PCA是无监督学习算法，不需要预先标记数据，适用于数据点比较少的情况，用于降低数据的维度，去掉原始数据中的冗余信息，同时保留数据的主要特征，PCA是将原始数据投影到一个新的空间中，选择样本点投影具有最大方差的方向。
2023-04-03 11:08:19
127
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人