- 博客(11)
- 收藏
- 关注
RSS订阅原创 AI 作业 12-LSTM
长短期记忆网络是一种特殊的递归神经网络，它通过特别设计的网络结构来解决普通RNN在处理长序列数据时的梯度消失和爆炸问题。1、 输入门（Input Gate）：决定我们要在记忆细胞中存储多少来自输入的新信息。它由两部分组成，一个是sigmoid层，另一个是tanh层。sigmoid层输出0到1之间的值，表示我们要保存多少新信息，0表示“什么都不保存”，1表示“保存所有”，而tanh层则生成新的候选值，可能会被加入到状态中。2、 遗忘门（Forget Gate）：决定我们要从记忆细胞中遗忘多少信息。
2023-06-25 13:17:04
169
原创 AI 作业 11-RNN
梯度消失是指在反向传播过程中，较小的梯度在每一层中逐渐缩小，导致较早的层无法得到充分更新，从而影响模型的训练效果。为解决这些问题，可以采取一些技巧，如合适的参数初始化、激活函数的选择、梯度裁剪等，以确保梯度在训练过程中既不消失也不爆炸。通过记忆先前的信息，RNN能够更好地处理序列数据的依赖性，并在任务中生成更准确的预测。- CNN主要用于处理空间结构化数据，如图像，而RNN主要用于处理序列数据，如语音、时间序列。- CNN中的权重共享是在卷积层中进行的，而RNN中的权重共享是在时间步骤中进行的。
2023-06-24 22:06:54
71
1
原创 AI 作业 10-经典卷积网络
VGG Net在当年的ImageNet大规模视觉识别挑战（ILSVRC）中取得了优异成绩，以其简洁的结构和卓越的性能获得了广泛关注。VGG Net的核心思想是通过使用较小的卷积核（如3x3）和多个连续卷积层来增加网络深度，从而提高模型的表达能力。VGG Net有多个版本，如VGG-16和VGG-19，这些数字代表网络中包含的权重层（卷积层和全连接层）的数量。尽管AlexNet最初是针对ImageNet数据集开发的，但它的架构和训练方法也可以应用于其他图像分类任务，如CIFAR数据集。
2023-06-24 22:03:58
68
1
原创 AI 作业 8-卷积 2
池化操作可以减少特征图的维度，降低计算量，并且可以提取特征的不变性，使特征对平移、旋转和尺度变化具有一定的鲁棒性。较大的感受野可以捕捉更大范围的图像信息，用于提取全局特征，而较小的感受野则更适合提取局部特征。局部感知（Local Perception）是指卷积操作的特点，它将卷积核应用于输入数据的局部区域，并通过卷积操作获得该区域的特征表示。高级特征（High-level Features）是指在卷积神经网络后期的卷积层中提取的特征。高级特征对应于更抽象的语义信息，例如目标的类别或物体的部分。
2023-06-24 21:58:58
66
1
原创 AI 作业 7-卷积
神经网络会根据任务的特点和输入数据的特征，自动调整卷积核的权重和偏置，从而使卷积操作能够提取输入数据中与任务相关的特征。卷积操作和神经网络的后续层可以通过梯度下降等优化算法，自动调整卷积核的权重和偏置，以及后续层的权重和偏置，从而选择对任务最有用的特征进行提取和传递。卷积（Convolution）是一种用于图像处理和信号处理的操作，它通过在输入数据上滑动一个小的滤波器（卷积核），将输入数据和滤波器的元素逐个相乘，并求和得到输出结果。卷积操作可以提取输入数据的空间特征，例如边缘、纹理等。
2023-06-24 21:54:50
105
1
原创 AI 作业 6-误差反向传播
通过定义一系列计算操作，可以按照特定的顺序执行这些操作，计算函数的结果。计算图是反向传播算法的基础，它提供了一个可视化和理解复杂函数计算过程的框架，并且可以方便地计算函数对输入、参数及中间变量的导数。而在反向传播过程中，通过计算损失函数对参数的导数，将梯度从输出层向输入层传播回来，用于更新网络的参数。反向传播利用链式法则进行计算，在计算梯度时是沿着计算图的反方向传播梯度信息的。它的基本思想是通过计算损失函数对参数的梯度，然后沿着梯度的反方向更新参数值。这样反复迭代直至达到损失函数最小化的目标。
2023-06-24 21:49:16
56
1
原创 AI 作业 5-深度学习基础
10、 激活函数（Activation Function）是神经网络中对输入信号进行非线性变换的函数，它在神经元中引入了非线性性质，使得神经网络可以学习和表示更复杂的函数。FNN是一种静态模型，其输出仅基于当前的输入。3、 传统浅层学习通常指的是传统的机器学习方法，如支持向量机（SVM）、决策树、随机森林等，这些方法通常只包含少量的层次和特征表示，不具备深度学习中多层次特征表示和学习的能力。总的来说，损失函数的选择应根据具体问题的特点，在回归问题中选择均方误差损失函数，而在分类问题中选择交叉熵损失函数。
2023-06-24 21:45:48
105
1
原创 AI 作业 4-无监督学习
6、 奇异值分解（Singular Value Decomposition，SVD）是一种基础的矩阵分解方法，将一个矩阵分解为三个矩阵的乘积：A = U * Σ * V^T，其中U和V是正交矩阵，Σ是对角矩阵。K-means是一种特殊的EM算法，它使用了特定的高斯分布模型，并假设簇的协方差是各向同性的。在K-means中，E步骤是将样本分配到最近的簇中，而M步骤是计算新的簇的中心点。它通过最小化样本与所属簇的平方距离之和来确定簇的中心点，并将样本分配到最近的中心点所属的簇中。
2023-06-24 21:38:03
83
1
原创 AI 作业 3-监督学习
生成式模型的优点是可以产生新的样本，能够对潜在的数据分布进行建模，有较好的泛化能力；判别式模型的优点是可以对条件概率进行建模，通常有较好的预测性能和较低的计算复杂度；它通过对数据生成的过程进行建模，学习样本的联合概率分布，然后根据贝叶斯定理推断后验概率。生成式模型能够生成新的样本，并可以用于概率估计和生成新的样本。监督学习可以使用判别式方法也可以使用生成式方法，它关注的是通过已知的标签来学习输入和输出之间的关系。它通过合并多个模型的预测结果，从而减少模型的偏差和方差，提高泛化能力。
2023-06-24 21:26:04
100
1
原创 AI 作业 2-监督学习
信息熵衡量了一个随机变量的不确定度，条件熵衡量了在给定一个属性后的不确定度，信息增益则表示通过划分属性后的信息熵的减少程度。1、 结构风险最小化（Structural Risk Minimization）是一种用于选择模型的方法，其目标是在训练集上获得较低的经验风险（训练误差）和较小的结构风险（模型复杂度）。5、Sigmoid函数是一种常用的激活函数，它将任意实数映射到0和1之间的一个数值。概率近似正确的定义是在给定一个置信水平下，算法以较高的概率产生一个接近真实模型的假设。
2023-06-24 21:20:42
31
1
原创 AI作业1-ML基础
期望风险：期望风险针对的是全体数据。也就是已有的数据，未有的数据都包括在内。经验风险：经验风险来源于训练数据集，训练数据集的平均损失也称为经验风险。验证集：用于确定网络结构以及调整模型的超参数，来确定是否需要继续训练。测试集：用于检验模型的泛化能力，测试集用来形容模型能力的好坏。过拟合：训练过度，只对训练集的效果好，对测试集的效果差。欠拟合：训练的不够，对训练集和测试集的效果都差。聚类：常见的无监督算法，让样本聚成不同的类型。无监督学习 ：从无标记的训练数据中推断结论。5.训练集、测试集、验证集。
2023-06-24 20:55:18
34
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人