DaMeng999的博客

一般来说，想要将高维数据转换成低维数据，最简单的是对原始高维空间进行线性变换；给定 d 维空间中的样本，变换后得到维空间中的样本，公式如下：其中是变换矩阵，是样本在新空间中的表达。 变换矩阵 W 可以视作个 d 维基向量。是第 i 个样本与这个基向量分别做内积得到的维属性向量，也就是说是原向量在新坐标系下的坐标向量。 基于线性变换进行降维的方法称作线性降维方法，都符合上述公式的基本形式，但不同之处是对低维子空...

LDA 思想为：对给定的训练集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。 对给定的数据集，令分别表示第类示例的集合、均值向量、协方差矩阵。若将数据投影到直线上，则两类样本的中心点在直线上的投影分别为和；若所有的样本点投影到直线上，则两类样本的协方差分别为和。 对投影结果，应使同类样本的协方差尽可能...

聚类是根据样本之间的特征的相似度或距离，将样本划分到若干类之中，相似度高的在一个类，相似度低的在另一个类。1. 基本概念1.1 相似度给定样本集合X 是一个的矩阵，其中表示第 j 个样本的第 i 维特征值。 聚类的核心概念是相似度，可以用距离来表示两个样本之间的相似度。1.1.1 闵可夫斯基距离 闵可夫斯基距离定义如下表示曼哈顿距离 表示欧式距离 p 取无穷时表示切比雪夫距离1.1.2 马...

提升方法在分类问题中通过改变训练样本的权重，学习多个分类器，并将这些分类器线性组合来提高分类的性能。提升方法需要解决一下两个问题：每一轮如何改变训练数据的权值分布 如何将若分类器组合得到一个强分类器 对应的解决方法分别是：提高前一轮弱分类器错误分类样本的权值，降低那些被正确分类样本的权值 加权多数表决，加大分类误差率小的若分类求得权值，减小分类误差率大的弱分类器的权值1. 算法流程1.1 AdaBoost 算法输入：二分类样本训练集：输出：最终分...

SVM 是一种二类分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器（间隔最大区别于感知机，使用误分类最小策略求得超平面），SVM 还可以通过核函数来求解非线性模型。 SVM 的学习策略是间隔最大化，学习算法是求解凸二次规划的最优化算法。SVM 由简到繁的模型如下：线性可分支持向量机（硬间隔） 线性支持向量机（软间隔） 非线性支持向量机（核方法）1. 线性可分SVM与硬间隔最大化 考虑一个二分类问题，假设输入空间与特征空间为两个不同空间，...

目录1. 原理2. 参数估计2.1 极大似然估计2.2 算法流程2.3 贝叶斯估计 朴素贝叶斯时基于贝叶斯定理与特征条件独立假设的分类方法。对给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型对给定的输入 x 利用贝叶斯定理求出后验概率最大的输出 y。1. 原理 假定输入空间是 n 维的向量集合，输出空间为类标记集合。X 是定义在输入空间上的随机向量，Y 是定义在输出空间上的随机变量。P(X, Y) 是 X 和 Y...

目录1. 概述2. 模型2.1 距离度量2.2 k 值选择2.3 分类决策规则3. kd 树3.1 构造 kd 树3.2 搜索 kd 树 k 近邻算法是一种基本分类与回归方法。算法的输入为实例的特征向量，即特征空间的点；输出是实例的类别，可以取多类。分类时，对新的实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式预测，可以看出 k 近邻算法不具有显示的学习过程。k 值的选择，距离度量及分类决策规则是 k 近的三个基本要素。1. 概述输入：...

感知机是二分类的线性分类模型，属于判别模型。感知机学习目的是求出一个可以将训练数据集线性划分的超平面。其优势在于简单且易于实现；感知机可以分为原始形式和对偶形式，是神经网络与支持向量机的基础。1. 模型1.1 定义 感知机的定义如下：假设输入空间是，输出空间是，x 表示输入空间 X 的实例 ，由输入空间到输出空间的如下函数：称为感知机，叫做权值或权值向量，叫做偏置，表示权值向量和实例向量的一个内积，sign 是符号函数。感知...

通常把分类错误的样本数占样本总数的比例称为错误率，精度=1-错误率。更一般的，把学习器在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差。我们希望得到的是一个泛化误差小的学习器。学习器学习能力过强会导致泛化性能下降，这就是过拟合；反之，如果学习器不足以很好的学习训练样本就会导致欠拟合。过拟合是无法避免的，只能缓解。1. 评估方法 通常可以通过测试来对学习器的泛化误差进行评估，因此需要测试集，并将其作为训练模型的输入，得到的测试误差来作为泛化误差的近似。...

1. 算法流程 OC1 算法大部分情况下使用确定性爬山来确保计算精度，还使用了两种随机化来避免陷入局部最小值，通过限制随机选择超平面的数量减少运行时间。2. 扰动算法 OC1 算法对超平面的方向没有限制，然而，为了接近标准的决策树算法，超平面首先被设置为该结点上效果最好的轴平行平面（即单变量决策树做出的平面）。OC1 算法只有在斜平面优于单变量平面的情况下才进行。 通过扰动现在的超平面使它偏移来寻找可能的超平面，由于超平面的存在数量是指数级，无法简...

一、基本流程 一般的，一棵决策树包含一个根结点，若干个内部结点和若干个叶结点；在叶结点给出决策结果，其它结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点之中。从根节点到每个叶结点的路径都对应一个判定的序列。决策树的基本流程遵循简单且直观的“分而治之”策略。输入： 训练集： 属性集：函数 TreeGenerate(D, A)从 A 中选择最优划分属性 ai;for ai 的每一个值 aij do 为结...

1. ID3 算法1.1 算法流程输入：训练数据集 D，特征集 A ， 阈值 d输出：决策树 T如果 D 中所有实例都属于同一类，则 T 为单节点树，并将类别设置为该类，返回 T 如果 A 为空集，则 T 为单结点树，并将 D 中实例数量最多的类设置为该结点的类别，返回 T 计算所有特征的信息增益，选择最大的特征 a 如果 a 的信息增益小于阈值 d，则设置 T 为单节点树，并将 D 中实例数量最多的类设置为该结点得类别并返回 T 对 a 的每一个可能值分割数据集 D 得到子集...

一、数据 API 使用tf.data.Dataset.from_tensor_slices 创建一个数据集：dataset = tf.data.Dataset.from_tensor_slices(tf.range(10))print(dataset, tf.range(10))for item in dataset: print(item) 结果如下：from_tensor_slices 该函数创建一个给定张量的切片（沿第...

在实际模型训练中，可能遇到以下问题：梯度消失：随着算法向下传播到较低层，梯度通常会越来越小，低层的连接权重几乎不变导致模型的无法收敛到一个很好的解 梯度爆炸：某些情况下（可能出现在递归神经网络中）梯度会越来越大，各层会产生较大的更新权重，直到算法发散 没有足够的训练数据 训练缓慢 参数过大造成过拟合一、梯度消失与梯度爆炸1.1 Glorot 和 He 初始化 针对梯度不稳定问题，Glorot 提出希望信号流动过程既不消失也不饱和，使得每层的输出方差等于其输...

一、神经网络基础1.1 反向传播训练算法 使用有效技术自动计算梯度下降，针对每个模型参数计算网络误差的梯度，大致流程如下：一次处理一个小批量并多次遍历整个训练集，每次遍历称为一个轮次 每个轮次中，将小批量传入输入层，后将其传入隐藏层，并将隐藏层的输出传入下一个隐藏层直到输出，保留中间结果 （前向通路） 使用一种损失函数来测量网络误差 应用链式法则，计算每个输出连接对错误的贡献程度 再次使用链式法则测量下面层的误差贡献直到输入层，即向后传播误差梯度 （后向） 执行梯度下降...