weixin_45434953的博客

和传统的神经网络不同，Generator除了接受x的输入之外，还会接受一个简单的分布作为z进行输入，从而使得网络的输出也是一个复杂的分布为什么输出需要时一个分布呢？以视频预测为例，比如说在糖豆人游戏中，我们需要预测视频的接下来的10帧是怎么样的问题是传统的神经网络(NN)训练出来的结果，在拐角处，一个糖豆人会分裂为两个糖豆人，一个向左一个向右，这是因为在普通NN中，糖豆人向左和向右都有可能，是概率不同，因此他将这两个结果都显示了出来。

反之，较小的子集会导致噪声较大，下降的精度不高，但是单次训练速度快，而且较小的子集也无法充分来自于向量化的训练加速，总训练时间反而不是最快的。在实际中，选择适中的子集大小能够保证一定的精度，也能提高速度，并且利用好向量化带来的加速，在此基础之上，根据自己的目标选择合适的子集大小，平衡好训练速度和精度问题。而在情况2中，因为每个样本都是单独的Mini-Batch，大多数时候会朝着最小值前进，但是有一些样本是噪声样本，因此偶尔会指向错误的方向，因此这会使得其路线十分的九转十八弯（紫线）。原数据集的特征部分为。

假设你是一名飞机涡扇引擎工程师，你在每个引擎出厂之前都需要检测两个指标——启动震动幅度和温度，查看其是否正常。在此之前你已经积累了相当多合格的发动机的出厂检测数据，如下图所示我们把上述的正常启动的数据集总结为DataSetx1x2...xm如果一个新的例子xtest​离点集很远，那可能这个样例是异常的那么如何衡量“很远”呢？一般我们会有一个函数p(x)负责计算，并且有一个阈值ϵ，当pxtest​ϵ的时候，我们认为该样例异常；而当pxtes。

相较于之前学习的线性回归和神经网络，支持向量机（Supprot Vector Machine，简称SVM）在拟合复杂的非线性方程的时候拥有更出色的能力，该算法也是十分经典的算法之一。接下来我们需要学习这种算法首先我们回顾逻辑回归中的经典假设函数，如下图：对于任意一个实例xy，当y=1的时候，我们希望hθ​x≈1，也就是θTx>>0；当y=0的时候，我们希望ht​hetax≈0，也就是θTx

接下来我们总结若干应对各种问题的方法：修正过拟合（高方差）：增加训练及数量、使用更少的特征、增加正则化参数的值修正欠拟合（高偏差）：增加额外的特征、增加假设函数的复杂度和次方数、减小正则化参数的值。

但是这仍不能证明模型的泛化能力，因为上述过程类似于新增了一个参数d之后，再使用测试集进行模型训练选出最优d值，也就是说，这是使用测试集来选择模型，又使用相同的测试集来计算误差，对于模型多项式次数d的选择会存在过拟合的情况。想要了解自己训练出的模型对训练集外的实例的泛化能力，则我们可以将初试的数据集分为两部分：70%为我们的训练集，剩下30%为我们的测试集（当然比例我们可以灵活调整）。值最小的对应的d的取值，假设d=4的时候最佳，那么我们就选择这个多项式次数作为最优假设函数模型。的取值，而不是像之前的求。

这一节我们主要是将之前的知识穿起来，形成一个整体。如果之前的没看过可以回翻一下专栏。但是在整体回归之前，我们还需要学习一个小知识点——随机初始化。

表示的是神经网络经过拟合后的输出值，而y是样本实际的结果，因为多分类的神经网络中，式子中的y不只是只有一种输出结果，而是有k种输出结果，因此需要计算K个输出单元的和，这就是为什么需要。老实说，代价函数这方面我也不太整的明白，我跟的教程并没有给出足够严谨的说明，但是好在实际使用时是直接有函数接口调用的，另外我还会找额外的书籍去补一补这一方面，等着更新吧（挖坑。神经网络中使用的代价函数我们之前学过Logistics回归的代价函数的一般形式，其中Logistics回归的代价函数如下：（带有正则化项）

如果对于下图使用Logistics回归算法，如果只有x1和x2两个特征的时候，Logistics回归还是可以较好地处理的。它可以将x1和x2包含到多项式中但是有很多问题所具有的特征远不止两个，甚至是上万个，如果我们想要包含很多特征，那Logistics回归的假设函数将会相当复杂。这些多项式的项数是以n^2的速度增长的。一方面运算量十分大，而且想要进行正则化调整也很难。这么庞大的特征空间使得对特征的增删查改都十分困难，因此我们需要另寻出路。

在计算机中可以很容易地使用门电路实现异或，但是今天我们试着用神经网络去实现以下与运算。那么我们构建如下的神经网络。在开始这个实力前，希望你已经了解了神经网络的相关内容，可以参见如下文章。在计算机中，有一种很基础的运算称之为与运算，这是一个二元运算符，的值为1，可以知道与运算有四种情况。的取值只可以是0或者1，当。并且将权重矩阵初始化为。

上一篇文章的例子中，如果使用一个四次多项式去拟合房价函数，会导致过拟合问题而正则化是解决过拟合的一个方法。J2m1​i1∑m​hθ​xi−yi2J2m1​i1∑m​hθ​xi−yi21000θ32​1000θ42​当我们要得出最小的代价函数的时候，θ3​和θ4​必须要尽可能接近于0，否则函数J会变得很大。对于假设函数θ0​θ1​xθ2​x2θ3​x3θ4​。

我们来想象如下一个场景：我们准备了10000张西瓜的照片让算法训练识别西瓜图像，但是这 10000张西瓜的图片都是有瓜梗的，算法在拟合西瓜的特征的时候，将西瓜带瓜梗当作了一个一般性的特征。此时出现一张没有瓜梗的西瓜照片，算法就认为它不是西瓜了。这种情况被称为。上面从感性的方面感受了下过拟合的情况，接下来我们系统分析过拟合的情况。还是以我们经典的通过房屋大小预测房价走向的问题，假设有以下三个拟合好的图像。

在阅读本文前，请确保你已经掌握代价函数、假设函数等常用机器学习术语，最好已经学习线性回归算法，前情提要可参考https://blog.csdn.net/weixin_45434953/article/details/130593910我们通常用y来表示分类结果，其中最简单y值集合为01，比如对于一个邮件是否为垃圾邮件，有“是垃圾邮件（1）”和“不是垃圾邮件（0）”两种y的取值。

接下来我们将要学习我们的第一个模型——线性回归。比如说我需要根据数据预测某个面积的房子可以卖多少钱m:训练样本数量x:输入值，又称为属性值y:输出值，是我们需要的结果我们会用xy(x,y)xy表示一整个训练样本，使用xiyixiyi来表示第i个样例我们将上图用表格表示出来如下：那么线性回归的预测模型如下：训练集输入到学习算法中，然后学习算法会根据数据训练出函数h。作为一个线性回归模型，其输出的h应该是hxθ0θ1xhxθ0​θ1。

，因此梯度下降更适合应对n较大的情况，一般以n=10000为分界线。而且梯度下降在很多算法中都会广泛的应用，但是正规方程一般只用于线性回归。的解析方法，而不是梯度下降那样的迭代方法。也就是只需要一次运算就可以得出结果。梯度下降需要选择学习速率，并且需要迭代，而正规方程不需要。但是对于特征量n较大的情况，会消耗大量的时间，通常认为正规方程的时间复杂度为O(n。反过来，导数为0的位置不一定是最值。需要注意的是，正规方程不需要使用特征缩放。正规方程能以更好的方式求得假设函数中。根据微积分，我们知道函数。

注意⚠️阅读本文前，你应该需要掌握：机器学习线性回归模型、高等数学微积分部分内容、线性代数矩阵部分内容前情提要：https://blog.csdn.net/weixin_45434953/article/details/130593910。

机器学习指的是，在没有明确设置的情况下，使得计算机拥有自我学习能力的领域。