- 博客(11)
- 收藏
- 关注
RSS订阅原创 AI作业12-LSTM
重置门根据当前时间步的输入和前一个时间步的隐藏状态，决定在当前时刻需要遗忘多少旧的记忆和忽略前一个时刻的隐藏状态。它通过将输入数据和前一个时刻的隐藏状态进行加权求和，并经过一个Sigmoid激活函数，输出一个0到1之间的值，表示需要遗忘多少旧的记忆。更新门根据当前时间步的输入和前一个时间步的隐藏状态，决定在当前时刻需要保留多少旧的记忆和旧的隐藏状态。重置门的作用是根据当前输入和历史上下文信息选择性地遗忘旧的记忆和忽略前一个时刻的隐藏状态，从而在后续的时间步中产生新的隐藏状态。
2023-06-06 21:05:21
371
原创 AI作业11-RNN
在RNN中，隐藏层的输出会被作为下一个时间步的输入，这样网络可以捕捉到序列数据中的时间依赖关系。具体而言，BPTT将RNN的每个时间步看作是网络的一个层，通过展开网络，可以得到多个层之间的连接关系。然而，由于展开的序列长度较长时，BPTT会面临梯度消失或梯度爆炸的问题，因此在实际应用中，常常需要进行梯度剪裁或采用其他技巧来解决这些问题，以保证训练的稳定性和效果。综上所述，RNN通过其循环结构和隐藏状态的传递，使得网络能够处理序列数据中的时间依赖关系和变长性质，具备记忆能力，并且可以共享参数。
2023-06-06 21:02:52
478
原创 AI作业10-经典卷积网络
通过上一层2 * 2的卷积核操作后，我们将原始图像由4 * 4的尺寸变为了3 * 3的一个新的图片。(3-2)+1=2)。通常情况下，我们希望图片做完卷积操作后保持图片大小不变，所以我们一般会选择尺寸为3 * 3的卷积核和1的zero padding，或者5 * 5的卷积核与2的zero padding，这样通过计算后，可以保留图片的原始尺寸。这就是一个完整的卷积神经网络，如果想要叠加层数，一般也是叠加“Conv-Pooing"，通过不断的设计卷积核的尺寸，数量，提取更多的特征，最后识别不同类别的物体。
2023-06-06 20:59:17
64
原创 AI作业8-卷积2
高级特征则是指基于中级特征构建的更加抽象和复杂的特征，如物体的部件、结构、语义等，这些特征能够更好地描述物体的高层次语义信息，因此对于更加复杂的任务（如目标检测、语义分割等）的效果会更好。低级特征通常指一些较为基础的、直接从原始数据中提取的特征，如颜色、纹理、边缘等，它们通常对于物体的分类或识别任务并不十分有效，但是可以作为中级特征的基础。中级特征则是指基于低级特征构建的一些更高层次的特征，如形状、轮廓、纹理组合等，这些特征能够更好地描述物体的形态和结构，因此对于分类或识别任务的效果会更好。
2023-06-06 20:58:00
60
原创 AI作业7-卷积
卷积核：卷积核是一个小型矩阵，用于在卷积过程中与输入数据进行逐元素相乘并求和的操作。特征选择：特征选择是机器学习中一种降低模型复杂度、提高泛化能力的方法。1.简单描述卷积、卷积核、多通道、特征图、特征选择概念。卷积：卷积核与输入数据进行按元素相乘并求和的操作。特征图：特征图是卷积操作后得到的输出数据。多通道：多通道是指输入数据具有多个维度。
2023-06-06 20:55:01
18
原创 AI作业6-误差反向传播
1.梯度下降梯度下降是一种最小化目标函数的优化算法，在机器学习中经常使用。其基本思想是通过反复迭代来逐步调整模型参数，使目标函数的值不断减小，从而达到最小化目标函数的目的。在每一次迭代中，梯度下降算法会计算目标函数关于当前参数的梯度，即目标函数在当前参数点处的斜率，然后朝着梯度下降的方向调整参数，使得目标函数值减小。如果梯度为正，则参数向负方向移动；如果梯度为负，则参数向正方向移动。重复这个过程，直到找到局部或全局最小值，或者达到预定的停止条件。
2023-06-06 20:49:07
30
原创 AI作业5-深度学习基础
异或问题是一种非线性可分的问题，因为在二维平面上，无法用一条直线将四个点完全分开，这四个点的坐标分别为(0, 0)，(0, 1)，(1, 0)和(1, 1)。我们需要将训练数据输入到模型中，计算模型的输出，与真实标签进行比较，计算损失函数的值，然后使用梯度下降等优化算法来调整权重和偏置项，使得损失函数的值尽可能小。因此，神经网络是深度学习的基础，深度学习中的神经网络是一种特殊的神经网络。然而，由于该模型只能处理二进制输入和输出，且缺乏可学习的权重，因此在处理更复杂的任务时，它的表现很有限。
2023-06-06 20:28:06
189
原创 AI作业4-无监督学习
LDA和PCA都是降维算法。KNN是一种基于样本距离的分类算法，而K-means是一种聚类算法，是一种基于数据分布的算法。K-means可以看做是最简单的EM算法，它将每个数据点视为一个高斯分布的均值，通过迭代求解，将数据点分配到近似的均值中心，以实现数据聚类。潜在语义分析（LSA）是一种文本分析方法，通过对词汇在文本中的出现频率进行分析，找出其中的潜在语义，以实现文本的分类、聚类等操作。主成分分析（PCA）是一种降维算法，它可以找到数据中的主要方向，并将数据转换到与这些主要方向相关的坐标轴上。
2023-06-06 20:24:15
18
原创 AI作业3-监督学习
分类和聚类都是机器学习中常见的任务，它们分别涉及到不同类型的学习算法。支持向量机通过最大化训练数据集与超平面之间的距离，寻找最优的超平面，以实现分类的目标。集成学习是一种机器学习的方法，旨在将多个单一的学习算法组合成一个更强大的算法。集成学习方法是通过投票、均值等方式将多个分类器的预测结果结合起来，以获得更准确的分类结果。判别式模型是机器学习模型的一种类型，它不是学习数据分布，而是直接学习从输入到输出之间的映射关系。生成式模型是机器学习模型的一种类型，它通过学习训练集中的数据分布来进行分类或生成数据。
2023-06-06 20:13:59
22
原创 AI作业2-监督学习
信息增益是一种衡量在已知一个特征或条件时，目标变量的不确定性减少程度（熵的减少程度）的量化指标，反映了一个特征或条件对于目标变量的区分能力。信息熵时度量样本集合纯度的最常用的一种指标，它衡量了信息不确定性的量化，反映信息的复杂程度和随机性（即信息的混乱程度，类比物理学中的熵）。信息熵越小，表示信息的不确定性与混乱程度也就越低。PAC的基本思想是，给定一个概念类（从输入空间到输出空间的映射集合），一个学习算法可以从有限的训练样本中找到一个近似于真实概念的假设，且这个假设以高于某个阈值的概率满足某个误差界。
2023-06-06 20:12:03
42
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人