qq_38609328的博客

使用keras实现MLP01 基本概念当一层中的所有神经元都连接到上一层中的每个神经元时，该层称为全连接层或密集层。感知机无法解决异或问题，堆叠后的多层感知机可以。信号仅沿一个方向流动，该架构为前馈神经网络FNN。包含一个深度隐藏层时，称为深度神经网络DNN。反向传播训练方法使用有效的技术自动计算梯度下降；反向传播算法可以找出应如何调整每个连接权重和每个偏置项以减少误差。对于每个训练实例，反向传播算法首先进行预测（正向传递）并测量误差，然后反向经过每个层以测量来自每个连接的误差贡献（反向传递

降维简而言之，2D流形就是可以在更高维度的空间中弯曲和扭曲的2D形状。更一般而言，d维流形是n维空间（d<n）的一部分，局部类似于d维超平面。许多降维算法通过对训练实例所在的流形进行建模来工作，这称为流形学习。PCA识别最靠近数据的超平面，然后将数据投影到其上。将训练集投影到低维超平面之前需要选择正确的超平面。投影到几个轴选择保留看起来差异性大的轴比较合理。还可以比较原始数据集与其轴上的投影之间的均方距离，使这个均方距离最小的轴是最合理的选择。可以在训练集中识别出哪条轴对差异性的贡献度最高

集成学习和随机森林硬投票分类器：聚合每个分类器的预测，然后将得票最多的结果作为预测类别。软投票法：如果所有分类器都能估算出类别的概率，可以将概率在所有单个分类器上平均，平均概率最高的类别作为预测。采样时，如果将样本放回。称为bagging；采样不放回称为pasting。有些实例可能会被采样多次，而有些可能根本不被采样。一般来说，对每个预测器来说，平均只对63%训练实例进行采样，剩下的37%未被采样，称为包外实例。包外实例可被用来作为验证集。对训练实例和特征都进行采样，称为随机补丁方法。而保留所有训

决策树gini属性衡量其不纯度（impurity）：如果应用的所有实例都属于同一个类别，那么节点就是“纯”的（gini=0）。如深度2左节点计算：gini=1 -（0/54）2 -（49/54）2 -（5/54）2≈0.168CART算法仅生成二叉树，其他算法（如ID3生成的决策树）其节点可以拥有两个以上的子节点。黑盒模型：随机森林、神经网络白盒模型：决策树。提供了简单的分类规则，可以用言语解释为什么做出这样的决策CART训练算法 -是一种贪婪算法，通常产生不错的解，但不能保证是最优解。基本原

SVM特别适用于中小型复杂数据集的分类硬间隔分类：严格的让所有实例不在支持向量之间的“街道”上，并且位于正确的一边。存在两个主要问题：1.只在数据是线性可分时有效 2.对异常值非常敏感软间隔分类：尽可能在保持“街道”宽阔和限制间隔违例（即位于街道之上，甚至在错误一边的实例）之间找到良好的平衡处理非线性数据集方法：1.添加更多特征–方法：多项式内核添加多项式特征很有效，但是当多项式太低阶处理不了复杂的数据，太高特征会太多模型变慢，因此可以采用核技巧，产生的结果跟添加许多多项式特征一样，实际不需要

梯度下降方法批量梯度下降：使用整个训练集来计算每一步的梯度，当训练集太大，算法较慢随机梯度下降：每一步在训练集中随机选择一个实例，并且仅基于该单个实例计算梯度。（训练迭代速度最快，因为一次只考虑一个训练实例）优缺点：因为其随机性，可以逃离局部最优，但永远定位不出最优值。解决方法：模拟退火-逐步降低学习率，开始的步长较大，然后越来越小，让算法尽量靠近全局最小值小批量随即下降：在称为小型批量的随机实例集上计算梯度。 可通过矩阵操作的硬件优化提高性能三个方法最终都接近最小值，但批量最后在最小值处停