qq_61648425的博客

原创 人工智能第十二次作业

这就使得是非0即1的，当门为1时， 梯度能够很好的在LSTM中传递，很大程度上减轻了梯度消失发生的概率， 当门为0时，说明上一时刻的信息对当前时刻没有影响， 我们也就没有必要传递梯度回去来更新参数了。遗忘门决定我们要从细胞状态中丢弃什么信息，由“忘记门”的Sigmoid层实现，它查看“前一个输出”和“当前输入”，并为单元格状态(上一个状态)中的每个数字输出0和1之间的数字。输出门决定我们要输出什么。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门同时实现了遗忘门和输出门的功能。

原创 人工智能第十一次作业

当按照链式法则，利用反向传播，对导数取值在0-1之间的激活函数求导，例如:tanh函数，计算梯度时，由于tanh函数的导数取值位于0-1之间，对于长序列，若多个0到1区间的小数相乘，会使得参数求导结果很小，从而引发梯度消失。而循环神经网络的输入数据是序列数据，输入数据是相关的，变长的输入序列，通常用于自然语言处理方面。序列到序列是一种条件的序列生成问题，给定一个序列，生成另一个序列，输入序列的长度与输出序列的长度可以不同，例如:机器翻译，输入为源语言的单词序列，输出为目标语言的单词序列。

原创 人工智能第十次作业

因为是彩色图像，所以这个数据集是三通道的，分别是R，G，B通道，，共有100类，叫CIFAR-100。使用非线性单元f(x,θ)逼近目标函数h(x)，目标函数h(x)拆成：恒等函数x和残差函数h(x)-x，h(x)＝x+（h(x)-x），另f(x,0)＝（h(x)-x）＝0，逐渐逼近。MNIST是一个数据集，它在机器学习的视觉领域被广泛使用，其间数据是由手写的数字构成，主要应用于手写数字识别，作为训练集对LeNet神经网络进行训练，同时还作为测试集对其进行测试，以检验该神经网络的效果。

原创 人工智能第九次作业

（1）for循环版本。

原创 人工智能第八次作业

局部感知：由于全局感知需要大量的参数信息，导致计算过慢，所以引入局部感知，减少参数量，提高效率，即每个神经元没有必要对全局图像进行感知，而是抽出某几部分（局部），对其进行感知，最后在更高层次将这些局部信息综合，从而得到全局信息。权值共享：卷积核里面的数值即权值，顾名思义，权值共享就是共用一个卷积核，卷积核的大小以及里面的数值不会改变，从而减少了参数量，也满足了平移不变性。高级特征：对中级特征再进一步处理，得到高级特征，高级特征包含位置信息，不能权值共享，此时卷积层无法胜任，需要用全连接层。

原创 人工智能第七次作业

卷积核通常为一个二维n*n的矩阵，矩阵的大小对应着卷积核的width和height，矩阵的层数对应卷积核的通道数（channel），卷积核的通道数与所处理的图像的通道数必须一致。卷积核是卷积神经网络的核心组件之一，又称为滤波器，通常为一个n*n的方阵，用于卷积运算，同一张图像，应用不同的卷积核进行卷积（卷积核的大小和对应位置的数值完全相同的卷积核才是相同的卷积核，不满足该条件的都是不同的卷积核），得到的卷积结果（特征图）不同。特征图即卷积得到的结果，图像与卷积核加权累加得到卷积（滤波）后的特征图。

原创 人工智能第六次作业

梯度下降算法经常用来求解最优化问题，通常用来求解损失函数的最小值，沿着梯度的方向，误差下降最快，举个简单容易理解的例子:求解开口向上的二次函数的最小值点，取其上一点，每次沿着该点的导数方向，逐步逼近最小值点，直到找到最小值，这样进行迭代，寻找最小值的速度最快。由于权值的不同，会导致输出值与真实值间存在误差，利用反向传播，将输出层误差反向进行传递，然后输入层根据传递过来的误差，误差从后向前传递并分摊给各层所有单元，各层单元依据误差进行参数的更新，以达到误差最小化的目的。步长为15，迭代次数为15。

原创 人工智能第五次作业

因为均方误差损失函数，通过预测计算预测值与真实值间的误差的平方来衡量模型的优劣，适用于回归，而交叉熵损失函数通过概率分布q来表达概率分布p的困难程度，适用于分类。激活函数一般都是非线性的，用于对输入函数进行非线性变换，如Sigmoid函数，在神经网络中引入非线性，从而强化网络的学习能力。区别:深度学习采用了多层神经网络模型，具有更多的隐藏层，而传统浅层学习只用了一层神经网络，它无法解决异或问题，而深度学习，解决了异或问题。神经网络是模型，深度学习是方法，多层神经网络模型，可以看成使用了深度学习的方法。

原创 人工智能第四次作业

举个简单的例子，学生去食堂买两份一样的饭，食堂阿姨给学生打饭，要确保这两份饭质量相差不大，显然不能拿称去称，一个简单的办法就是，把饭分到两个碗中，然后观察是否一样多，若不一样，则从多的那份饭中取出一点放到少的那份中，这个过程一直迭代下去，直到看不出哪份多哪份少为止。是，K-means在一次迭代中的两个步骤，可以看做是EM算法的E步和M步。LDA的目标是使类内方差最小，类间方差最大，可以使映射后的样本有最好的分类性能，PCA的目标是寻找数据间方差最大的方向，它可以使映射后的样本具有最大的发散性。

原创 人工智能第三次作业

所以，如果模型的目的是要解决输入到输出的映射，那么标签实际上就是必要的，因为这是衡量模型准确性的依据，所以这个模型就是有监督的。反之，如果模型不关注输入到输出的映射，只关注数据本身，模型的目的就是提取数据本身的特征，那么它自然不需要标签。分类算法实际上关注的是输入到输出的映射，而聚类算法则是对数据本身特征进行提取，相似特征的被聚到一类。不正确，监督学习和无监督学习描述的是学习任务的类型，生成式方法和判别式方法描述的是模型的学习方式。用于解决线性不可分的数据，将数据映射到更高的纬度，以达到线性可分的目的。

原创 人工智能第二次作业

逻辑斯蒂回归＝线性回归+Sigmoid函数/Soft-Max函数，逻辑斯蒂回归虽然是回归函数，但是通常被用来分类，用来解决二分类或多分类问题，逻辑斯蒂回归使用Sigmoid函数，一般用于解决二分类问题，比如将人按照性别分类，逻辑斯蒂回归使用Soft-Max函数，一般用于解决多分类问题，比如将人按职业不同进行分类。将输入变量映射到连续的输出空间的，如温度随时间变化的函数，自由落体位移随时间变化的函数等，称为回归，如果这些函数满足线性关系，则称为线性回归。表示某一条件确定后，该信息的不确定性的减少程度。

原创 人工智能第一次作业