- 博客(11)
- 收藏
- 关注
RSS订阅原创 AI作业第11次
循环神经网络通过引入“记忆单元”（memory cell）来解决这些问题，每一次处理时序数据时，记忆单元都会接收前一次的处理结果和上一次的记忆状态作为输入，这样就能够记忆之前的信息，同时根据之前的信息来影响下一次的处理。神经网络在进行反向传播(BP)的时候会对参数W进行更新，梯度消失就是靠后面网络层(如layer3)能够正常的得到一个合理的偏导数，但是靠近输入层的网络层，计算的到的偏导数近乎零，W几乎无法得到更新。梯度爆炸:靠近输入层的网络层，计算的到的偏导数极其大，更新后W变成一个很大的数(爆炸)。
2023-06-03 16:42:16
60
原创 AI作业第10次
使用非线性单元f(x,θ)逼近目标函数h(x)，目标函数h(x)拆成：恒等函数x和残差函数h(x)-x，h(x)＝x+（h(x)-x），另f(x,0)＝（h(x)-x）＝0，逐渐逼近。因为是彩色图像，所以这个数据集是三通道的，分别是R，G，B通道，，共有100类，叫CIFAR-100。MNIST是一个数据集，它在机器学习的视觉领域被广泛使用，其间数据是由手写的数字构成，主要应用于手写数字识别，作为训练集对LeNet神经网络进行训练，同时还作为测试集对其进行测试，以检验该神经网络的效果。
2023-06-03 15:22:49
51
原创 【AI作业第七次】
n的矩阵，矩阵的大小对应着卷积核的width和height，矩阵的层数对应卷积核的通道数（channel），卷积核的通道数与所处理的图像的通道数必须一致。另外，卷积核的大小，会影响特征提取的效率与准确性。特征选择：对于同一张图像，运用不同的卷积核进行卷积，得到的最终结果不同，即特征图不同，最后展示出来的图像的特征也不同。n的方阵，用于卷积运算，同一张图像，应用不同的卷积核进行卷积（卷积核的大小和对应位置的数值完全相同的卷积核才是相同的卷积核，不满足该条件的都是不同的卷积核），得到的卷积结果（特征图）不同。
2023-06-03 14:50:41
47
原创 AI作业-第8次
常见的池化操作包括最大池化和平均池化。不同的特征层次对于不同的任务有不同的贡献，如低级特征对于图像匹配和目标检测较为重要，而高级特征对于图像分类和识别较为重要。权值共享（weight sharing）：指在卷积神经网络中，每个卷积核的参数都被用于在输入数据的不同位置进行卷积操作。这样可以减少网络参数的数量，并且可以让神经网络对输入数据的不同位置具有相同的响应，从而提高模型的泛化性能。高级特征：对中级特征再进一步处理，得到高级特征，高级特征包含位置信息，不能权值共享，此时卷积层无法胜任，需要用全连接层。
2023-06-03 14:37:26
38
原创 【AI作业--6】
具体来说，计算图是一组节点和边组成的图，其中节点表示计算单元，边表示数据流动，即数据在计算单元之间的传递。反向传播算法是适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。梯度下降法是一个一阶最优化算法，通常也称为最陡下降法 ，要使用梯度下降法找到一个函数的局部极小值 ，必须向函数上当前点对应梯度的反方向的规定步长距离点进行迭代搜索。
2023-06-03 14:06:59
31
原创 AI作业5
在每一层中，神经元接收上一层的输出并通过权重进行线性组合，然后将结果输入到一个非线性的激活函数中，以得到下一层的输出。因为均方误差损失函数，通过预测计算预测值与真实值间的误差的平方来衡量模型的优劣，适用于回归，而交叉熵损失函数通过概率分布q来表达概率分布p的困难程度，适用于分类。神经元是神经网络中的基本单元，它接收来自其他神经元的输入，进行加权求和，并通过激活函数将输出传递给下一层神经元。激活函数是神经元中的一个重要组成部分，它将神经元的输出映射到一个非线性的范围内，从而使神经网络可以学习到非线性的函数。
2023-04-18 20:39:24
73
原创 AI作业4
LDA也是一种线性变换方法，但它是有监督的。K-means算法把一个数据集分割成簇，使得形成的簇是同构的，每个簇里的点相互靠近。奇异值分解是一种矩阵分解技术，可以将一个矩阵分解为三个矩阵的乘积，其中中间的矩阵是对角矩阵，其对角线上的元素为奇异值。k均值聚类算法是一种迭代求解的聚类分析算法，给定一个数据点集合和需要的聚类数目k，k由用户指定，k均值算法根据某个距离函数反复把数据分入k个聚类中。K均值是一种判别式算法，通过将数据分为K个簇来进行聚类，它并不试图对数据的分布进行建模，而是直接将数据分为不同的簇。
2023-04-11 21:23:27
110
1
原创 AI作业3
函数集的VC维就是它能打散的最大样本数目H，VC维反映了函数集的学习能力，VC维越大则学习机器越复杂。分类是判别式方法，通过已有的标记数据建立输入和输出之间的映射，从而对新的数据进行分类。聚类是生成式方法，通过数据的统计特性来学习数据的分布，从而对数据进行聚类。监督学习：通过已有的标记数据建立输入和输出之间的映射，从而预测新的输出。生成式模型通过人为设定的条件建立模型，再通过利用假设建立的模型得出结果。无监督学习：通过数据的统计特性来学习数据的分布，从而生成新的数据。KNN：基于距离度量的判别式分类算法。
2023-04-11 21:09:53
85
1
原创 AI作业第二次
同等条件下，模型越复杂泛化误差越大。同一模型在样本满足一定条件的情况下，其数量越大，模型泛化误差越小，因此还可以说模型越复杂越吃样本。针对一个训练集下训练不同的弱分类器，然后将这些弱分类器集合起来构成一个更强的分类器。信息增益：代表了某种条件下，原始变量不确定性的减小程度。正则化：损失函数中对网络超参数加权，以防止过拟合。条件熵：度量某种条件下的不确定性。将高纬度通过投影降维然后分类。结构风险最小化等价于正则化。将值确定在【0,1】之间。基本的分类与回归方法。信息熵：度量不确定性。
2023-03-20 21:48:18
65
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人