weixin_45733884的博客

单一决策树会对训练数据的变化很敏感。例子：输入十个数据，判断是否是猫。只替换其中一个数据，信息增益最高的分裂特征就发生了改变，决策树就发生了变化。使用决策树集合可以使算法更加健壮。例子：使用三棵决策树，输入新数据预测是否是猫，然后根据三颗决策树的结果投票决定预测结果。

定义：一个子集里，某一类别的数据在子集中的占比例如，下图这组输入数据，根据耳朵形状划分为两个子集，尖耳朵子集里，有四只猫，1只狗。则是4/5，根据计算熵，把熵用来测量纯度。

下面是数据集，输入特征是耳朵形状、脸形状、是否有胡子，输出结果是是否为猫下图是决策树，根据耳朵形状、脸形状、是否有胡子这几个特征，建立决策树，从根节点一步步预测结果。上图中，每一个椭圆形和矩形是树的节点。最顶上的节点是树的根节点。除了最底下一层的节点外，其余节点（椭圆形）为决策节点。最底下一层的节点为叶节点。

倾斜数据集：一个数据集中的正面和负面例子的比例非常不平衡，比如数据集中，结果为1的占比20%，结果为0的占比80%例子：如果数据集的结果中只有0.5%是1，其余结果是0。有一个模型的预测准确度是99.5%，但是预测了所有数据的结果都是0，这个模型的准确度很高，但是预测不出结果为1，这不能代表这个模型是好模型。因此需要引入其他的误差度量方式来评估模型好坏。

假设交叉验证集一共有500个数据点，模型拟合结果中，有100个数据点有误。错误分析就是，手动地分析这100个错误数据（或随机选择一些错误数据），根据它们的共同属性、共同特征分类，然后根据特征进一步优化模型。

在高偏差的情况下，随着训练集规模提高，训练集误差增加，交叉验证集误差减小，越到后面，训练集误差和交叉验证集误差曲线趋于平缓。例子：给定一个二次回归模型，当有一个、两个、三个数据点，训练集误差为0或者非常非常小，但是当数据点增加，模型很难匹配上所有的训练集数据点，因此训练集误差增加。在高方差的情况下，随着训练集规模提高，训练集误差增加，交叉验证集误差减小，如果继续增加训练集数据，交叉验证集误差继续减小，可以到达性能基准线。下图的模型，训练集误差小，交叉验证集误差大，这代表方差很大。

在优化模型前，我们首先看下如何评估一个模型的好坏。

在梯度下降公式：如果选择的学习率太小，梯度下降速度会很慢，如果选择的学习率太大，梯度下降会来回摆动。Adam算法的全称：AdaptiveM如果保持在大致相同的方向移动，Adam算法会提高学习率，提高梯度下降的速率。如果保持来回摆动，Adam算法会降低学习率。

下图的神经网络中，隐藏层用ReLU激活函数，输出层使用Softmax激活函数。

多类分类是指分类问题有2个以上的可能输出结果。

当 z ≥ 0时，g(z) = z，当 z＜0时，g(z) = 0。当处理二进制分类问题时，激活函数优先选择Sigmoid函数，预测y=1的概率。当处理回归问题，y可以是正数，也可以是负数时，激活函数优先选择线性函数。：输入一个值x，如果隐藏层和输出层的激活函数都选择线性函数：g(z)=z。：如果隐藏层的激活函数都是线性函数，输出层的激活函数是Sigmoid函数。仍然是输入值x的线性函数，输出层的激活函数仍然是Sigmoid函数。可以得到，线性函数的线性函数本身是线性函数。，相当于隐藏层没有起什么作用。

BinaryCrossentropy是二元交叉熵损失函数。也可以设置均方误差函数。神经网络中，可以使用model.compile()设置损失函数。定义一个模型：给定输入值x，w，b，如何用此模型计算输出值。确定损失和代价函数，计算模型的预测值和真实值的误差。根据模型训练步骤，TensorFlow代码实现如下。学习来源：吴恩达机器学习，P59-P60。其中，epochs为迭代次数。

此前，神经网络的前向传播可以用以下代码实现。每层使用for循环，计算每个神经元的激活值。

和PyTorch是两大深度学习框架，本文使用以上图的神经网络为例，代码可以写成：1、输入向量用np.array赋值2、使用Dense()构造第一层，第一层有三个神经元，激活函数是sigmoid，第一层的输入是x3、使用Dense()构造第二层，第二层有一个神经元，激活函数是sigmoid，第二层的输入是第一层激活值a14、根据第二层的激活值判断预测值。

前向传播算法（Forward Propagation）：从左到右的前进方向上进行计算。选择神经网络架构时的一个典型选择是，隐藏神经元的数量随着接近输出层而减少。是第0层，中间第1、2、3层也被称为隐藏层，第4层被称为输出层。学习来源：B站吴恩达机器学习，P46-P48。，其中，l为层数，g为激活函数。下图的神经网络中，输入层。

输入一组特征向量是第一层隐藏层的输入，第一层隐藏层输出激活值，激活值是第二层隐藏层的输入，第二层隐藏层输出第二组激活值，第二组激活值是输出层的输入。学习来源：B站吴恩达机器学习，P42-P44。

选取合适的特征子集，比如有20种特征，只选取适合的其中几种特征。不过有风险丢失掉有用的特征，导致模型不准确。当拥有很多特征，不知道哪些特征是重要特征时，使用正则化缩小所有的参数，不使用极端参数，使拟合更加光滑。通过把上述模型的w2、w3、w4参数减小，减小参数值的影响，就可以得到正正好的模型。特别大，那么需要减小w参数，才能减小代价函数，就会导致欠拟合。选择特别小，那么正则化将起不到作用；以平方误差代价函数为例，训练集数据量越大，模型越能避免过拟合。举个例子，下图是过拟合模型。在代价函数中引入正则化，

逻辑回归：如果使用平方误差代价函数来计算逻辑回归的损耗，代价函数如下图所示，有很多个局部最小值，很难得到全局最小值。

二进制分类binary classification：输出结果target中，只有两种可能，如yes/no、true/false、1/0。决策边界除了直线外，还可以是其他曲线，如下图所示，可以设置z为多项式回归，决策边界是两个分类的边界线，决策边界的一侧全是0，决策边界的另一侧全是1。=0.7，则预测y=1的概率为0.7，y=0的概率为0.3。，一个区域都是蓝圈，一个区域都是红叉。二进制分类的输出结果y只会是0或1，当z=0时，相应的曲线为决策边界。=3为决策边界，在下图中绿线展示。

模型的特征有很多种选择，比如选择房子的长、宽作为特征来预测房价，但是也可以设计一个新的特征：房子的面积=长*宽作为特征来预测房价，显然用面积作为特征更加合理。特征工程：使用直觉或者知识，通过转换或者合并原始特征，来设计新的特征，使模型的预测更加准确。可以看到，当迭代300-400次，J下降地很少，曲线趋于平稳，说明J开始收敛。当学习曲线出现下面这两种情况：J随着迭代增大，说明代码存在bug，或者学习率。假设选择0.1，经过几个迭代，发现J随着迭代变大，就减小学习率。时，可以认为J收敛了。