爱学习的影峰的博客

一、KNN算法简介 （参考周志华的西瓜书）  KNN算法又称k近邻分类(k-nearest neighbor classification)算法。它是根据不同特征值之间的距离来进行分类的一种简单的机器学习方法，它是一种简单但是懒惰的算法。他的训练数据都是有标签的数据，即训练的数据都有自己的类别。KNN算法主要应用领域是对未知事物进行分类，即判断未知事物属于哪一类，判断思想是，基于欧几里得定理，判断...

第一种解读：最小二乘法，也叫最小平方法，在古汉语中“平方”称为“二乘”，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。（记得赟哥解释过，这个方法起源于日本，就直接拿过来用了，其实最小平方法更好理解一点）最小二乘作为一种损失函数，也用做曲线拟合（曲线拟合求参数也是利用最小化平方的方法，其实也是作为一种损失函数，两个作用可以认为是一致的）在直线的 y = ax + b中，通...

EM算法是一种迭代算法，分为E、M两步。他就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法  (将求已知量P（Y|θ）转换为求隐变量P（Y|Z,θ）P（Z|θ）的过程）       E步：利用当前估计的参数值，求出在该参数下隐含变量的条件概率值（计算对数似然的期望值）；      M步：结合E步求出的隐含变量条件概率，求出似然函数下界函数的最大值（寻找能使E步产生的似然期望最大化...

原文博客：点击打开链接，从PCA和SVD的关系拾遗：点击打开链接PCA主要用于特征降维，寻找最小均方意义下，最能代表原始数据的投影方法。典型应用就是人脸识别CA的缺点：PCA将所有的样本（特征向量集合）作为一个整体对待，去寻找一个均方误差最小意义下的最优线性映射投影，而忽略了类别属性，而它所忽略的投影方向有可能刚好包含了重要的可分性信息PCA的思想是将n维特征映射到k维上（k<n），这k维是...

参考博客：点击打开链接，点击打开链接1、什么是关联分析？关联分析是一种在大规模数据集中寻找有趣关系的任务，这些关系可以有两种形式：频繁项集或者关联规则。频繁项集（frequent item set）：是经常出现在一块的物品集合关联规则（association rules）：暗示两种物品之间可能存在很强的关系2 Apriori理论算法的一般过程：收集数据：使用任何方法准备数据：任意数据类型都可以，因...

一、SVM面试常考问题参考博客：https://blog.csdn.net/szlcw1/article/details/52259668     SVM的优缺点：     优点：         1.适合对小样本数据学习，注重样本自身信息，而非产生样本的规律。          2.网络结构简单，只需一层（线性可分情况）或最多一个隐层（线性不可分情况），隐层的节点数由所求得的支持向量个数自行决定...

      在K-Means算法中，聚类中簇的个数K是用户预先给定的值，k均值算法收敛到局部最小值，而非全局最小值（局部最小值指结果还可以但并非最好结果，全局最小值是可能的最好结果），用于度量聚类效果的指标是SSE（误差平方和），SSE值越小表示数据点越接近于他们的质心，聚类效果也越好。     为了改变K均值划分簇的结果：             1、将具有最大SSE值得簇划分为两个簇。    ...

        朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。朴素贝叶斯算法核心就两个： 贝叶斯定理朴素：假设各个特征之间是独立的1. 朴素贝叶斯的理论基础（参考李航课本）朴...

一、Logistic回归原理及公式推导点击打开链接这样的方程一共有个，所以现在的问题转化为解这个方程形成的方程组，最后采用牛顿法或者梯度下降法进行求解。二、为什么逻辑回归比线性回归要好        线性回归在整个实数域内敏感度一致。而分类范围，需要在[0,1]之内，逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，逻辑曲线在z=0时，十分敏感，在z>>0或z&l...