- 博客(12)
- 收藏
- 关注
RSS订阅原创 AI作业12-LSTM
首先将本次时间节点的输入信息和上次的决策信息归纳成新的候选状态信息C ~ t这个候选信息需要被选择性的加入的，不可以直接将本次输入对应的信息会被传递进入历史信息（可能会出现本次信息量较大，因为只能被选择性的控制加入）；RNN梯度消失的原因是，随着梯度的传导，梯度被近距离梯度主导，模型难以学习到远距离的信息。通过本时间点的输入和上时间点的决策产生一个控制信号，控制信号为[0,1]内的值作为权重系数与上一个时间点状态分量C t − 1 中的存储值相乘，达到控制上一单元状态被遗忘的程度的目的。
2023-06-12 12:37:23
84
原创 AI作业11-RNN
循环神经网络通过引入“记忆单元”（memory cell）来解决这些问题，每一次处理时序数据时，记忆单元都会接收前一次的处理结果和上一次的记忆状态作为输入，这样就能够记忆之前的信息，同时根据之前的信息来影响下一次的处理。这是因为记忆单元的状态是动态更新的，可以根据不同的输入长度进行扩展或者缩短。我们知道神经网络在进行反向传播(BP)的时候会对参数W进行更新，梯度消失就是靠后面网络层(如layer3)能够正常的得到一个合理的偏导数，但是靠近输入层的网络层，计算的到的偏导数近乎零，W几乎无法得到更新。
2023-05-25 14:00:00
144
原创 AI作业10-经典卷积网络
因为是彩色图像，所以这个数据集是三通道的，分别是R，G，B3 个通道。(6).卷积层3+ReLU：使用384个3*3的filter，stride为1，padding为1，输出为13*13*384，384个feature maps，训练参数(3*3*256*384)+384=885120。(8).卷积层5+ReLU：使用256个3*3的filter，stride为1，padding为1，输出为13*13*256，256个feature maps，训练参数(3*3*384*256)+256=884992。
2023-05-19 13:19:27
110
1
原创 AI作业8-卷积2
一个卷积核对应的特征比如是边缘，那么用该卷积核去对图像做全图滤波，即是将图像各个位置的边缘都滤出来。是CNN中非常常见的一种操作，池化操作通常也叫做子采样(Subsampling)或降采样(Downsampling)，在构建卷积神经网络时，往往会用在卷积层之后，通过池化来降低卷积层输出的特征维度，有效减少网络参数的同时还可以防止过拟合现象。低级特征通常以描述符的形式表示，描述符包含一组没有明确语义含义/知识的可视化数据线索，主要包括局部二值模式(LBP)，光流，梯度，以及它们各自的变体。
2023-05-10 10:46:54
36
原创 AI作业7-卷积
不同的卷积核可以提取不同的特征响应，这些响应可以组合成更高层次的特征表示。同时，卷积核的大小和步长等参数也会影响到卷积操作的效果。通常，更大的卷积核可以提取更多的特征，但会增加计算量，更小的卷积核可以提取更局部的特征，但可能会丢失更全局的信息。卷积神经网络CNN实际上是通过带有label的训练数据来train由一个个特征判断系统中的运算法则，对于图像特征提取而言，系统的运算法则可能比较复杂，通过卷积的方式将复杂判断系统的运算法则变为一个个易于计算的卷积核，从而更方便地提取图像特征，完成对图像的分析与处理。
2023-05-10 10:42:48
37
原创 AI作业6-误差反向传播
具体来说，计算图是一组节点和边组成的图，其中节点表示计算单元（如矩阵乘法、加法等），边表示数据流动（即数据在计算单元之间的传递）。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。建立矩阵a ,初始化为[[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]，输出(0,0),(1,2),(2,0),(3,1)
2023-04-26 10:58:06
51
原创 AI作业5-深度学习基础
1.人工智能、机器学习、深度学习之间的区别和联系区别：机器学习：给算法(而不是你的大脑)输入大量数据，让它把事情弄清楚。它包含了在大数据分析和数据挖掘中会遇到的许多类型的程序。说到底，驱动大多数预测程序(包括垃圾邮件过滤器、产品推荐和欺诈检测器)的“大脑”实际上是机器学习算法。人工智能指的是让计算机执行被视为人类独有的任务：需要智力的任务。深度学习是机器学习的一种形式，既可以使用监督算法，也可以使用非监督算法，或者两者兼而有之。但是它使用包含更多神经元、层次和互联性的神经网络。
2023-04-26 10:51:55
63
原创 AI作业4-无监督学习
潜在语义分析（Latent Semantic Analysis）或者潜在语义索引（Latent Semantic Index），是1988年S.T. Dumais等人提出的一种新的信息检索代数模型，是用于知识获取和展示的计算理论和方法，它使用统计计算的方法对大量的文本集进行分析，从而提取出词与词之间潜在的语义结构，并用这种潜在的语义结构来表示词和文本，达到消除词之间的相关性和简化文本向量实现降维的目的。其中Ω代表要判别的人脸，Ωk代表训练集内的某个人脸，两者都是通过特征脸的权重来表示的。
2023-03-29 21:07:46
145
原创 AI作业3-监督学习
它的基本思想是通过计算待分类样本与已知类别样本之间的距离，选择距离最近的K个样本来预测待分类样本所属的类别。集成学习的思路是在对新的实例进行分类的时候，把若干个单个分类器集成起来，通过对多个分类器的分类结果进行某种组合来决定最终的分类，以取得比单个分类器更好的性能。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。监督学习是指在有标注数据的情况下，通过学习输入和输出之间的映射关系进行模型训练和预测的过程。
2023-03-28 15:02:06
124
原创 AI作业2-监督学习
逻辑斯蒂回归＝线性回归+Sigmoid函数/Soft-Max函数，逻辑斯蒂回归虽然是回归函数，但是通常被用来分类，用来解决二分类或多分类问题，逻辑斯蒂回归使用Sigmoid函数，一般用于解决二分类问题，比如将人按照性别分类，逻辑斯蒂回归使用Soft-Max函数，一般用于解决多分类问题，比如将人按职业不同进行分类。就是监管学习给出一堆样本，每个样本都有一组属性和一个分类结果，也就是分类结果已知，那么通过学习这些样本得到一个决策树，这个决策树能够对新的数据给出正确的分类。同一模型，样本越多，模型泛化能力越高。
2023-03-28 14:44:03
46
原创 AI作业1-ML基础
虽然人们平时观测到的数据基本都是高维的，但实际上真正与学习任务的分布相关的往往是低纬度的分布。2.分类：分类是指有有限个可能的问题，预测的是一个离散的、明确的变量。回归：回归是指有无限个可能的问题，预测的是一个连续的、逼近的变量。是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测的很好，但对未知数据预测得很差的现象。1.监督学习：监督学习是机器学习的类型，其中机器使用“标记好”的训练数据进行训练，并基于该数据，机器预测输出。相当于大考，上战场一样，真正的去检验学生的学习效果。
2023-03-20 13:26:17
191
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人