Flyingfish

朴素贝叶斯朴素贝叶斯分类机器学习基本算法之一的朴素贝叶斯方法的基本原理，其要点如下：朴素贝叶斯方法利用后验概率选择最佳分类，后验概率可以通过贝叶斯定理求解；朴素贝叶斯方法假定所有属性相互独立，基于这一假设将类条件概率转化为属性条件概率的乘积；朴素贝叶斯方法可以使期望风险最小化；影响朴素贝叶斯分类的是所有属性之间的依赖关系在不同类别上的分布。...

线性回归机器学习基本算法之一的线性回归的基本原理，其要点如下：线性回归假设输出变量是若干输入变量的线性组合，并根据这一关系求解线性组合中的最优系数；最小二乘法可用于解决单变量线性回归问题，当误差函数服从正态分布时，它与最大似然估计等价；多元线性回归问题也可以用最小二乘法求解，但极易出现过拟合现象；岭回归和 LASSO 回归分别通过引入二范数惩罚项和一范数惩罚项抑制过拟合。...

逻辑回归机器学习基本算法之一的逻辑回归方法的基本原理，其要点如下：逻辑回归模型是对线性回归的改进，用于解决分类问题；逻辑回归输出的是实例属于每个类别的似然概率，似然概率最大的类别就是分类结果；在一定条件下，逻辑回归模型与朴素贝叶斯分类器是等价的；多分类问题时可以通过多次使用二分类逻辑回归或者使用 Softmax 回归解决。逻辑回归 & 线性回归从数学角度看，线性回...

决策树ID3 & C4.5 & CART机器学习基本算法之一的决策树的基本原理，其要点如下：决策树是包含根节点、内部节点和叶节点的树结构，通过判定不同属性的特征来解决分类问题；决策树的学习过程包括特征选择、决策树生成、决策树剪枝三个步骤；决策树生成的基础是特征选择，特征选择的指标包括信息增益、信息增益比和基尼系数；决策树的剪枝策略包括预剪枝和后剪枝。...

支持向量机“升维”机器学习基本算法之一的支持向量机的基本原理，其要点如下：线性可分支持向量机通过硬间隔最大化求出划分超平面，解决线性分类问题；线性支持向量机通过软间隔最大化求出划分超平面，解决线性分类问题；非线性支持向量机利用核函数实现从低维原始空间到高维特征空间的转换，在高维空间上解决非线性分类问题；支持向量机的学习是个凸二次规划问题，可以用 SMO 算法快速求解。SVM...

集成学习“三个臭皮匠，顶个诸葛亮”举例利用错题本来提升学习效率和学习成绩IBM 服务器追求的是单个服务器性能的强大，比如打造超级服务器。而 Google 在创建集群的时候，利用了很多 PC 级的服务器，将它们组成集群，整体性能远比一个超级服务器的性能强大。AdaBoost 算法AdaBoost 实战机器学习基本算法之一的集成学习的基本原理，其要点如下：集成...

聚类分析“物以类聚，人以群分”K-means在聚类中，数据对象之间的相似度时很关键的。如果我们把样本转换为向量，然后使用向量空间中的距离或者夹角余弦，就很自然的能获得这种相似度，所以向量空间模型和聚类算法可以很容易的结合在一起。EMEM 算法相当于一个框架，你可以采用不同的模型来进行聚类，比如 GMM（高斯混合模型）或者 HMM（隐马尔科夫模型）来进行聚类。GMM 是通过概率...

降维学习在概率统计模块，我详细讲解了如何使用各种统计指标来进行特征的选择，降低用于监督式学习的特征之维度。接下来的几节，我会阐述两种针对数值型特征，更为通用的降维方法，它们是主成分分析 PCA（Principal Component Analysis）和奇异值分解 SVD（Singular Value Decomposition）。这两种方法是从矩阵分析的角度出发，找出数据分布之间的关系，从而达...