wanty_chen的博客

       决策树与KNN均属于分类算法，它将欲处理的数据看做树的根，然后选取数据的特征作为分类的节点，每次选取一个节点将数据分成不同的子集，每次划分出来的子集可看做是树的分支，一次划分过程即为一次决策过程，直至最后无法继续划分，则停止进程，最终形成根在上部的一颗树型结构。1、构造决策树       在构造决策树前，先选取特征作为划分数据集的依据。为得到在划分数据时起决定作用的特征，要对每个特征...

朴素贝叶斯：使用条件概率进行分类分类准则如下：    如果 P(c1|x, y) > P(c2|x, y), 那么属于类别 c1;    如果 P(c2|x, y) > P(c1|x, y), 那么属于类别 c2.两个假设：假设特征之间相互独立，且每个特征同等重要。应用：文档的自动分类       首先遍历并记录下文档中出现的词，并将每个词的出现或不出现作为一个特征；然后计算不同的独立...

在学习《机器学习实战》第二章时，遇到了一些问题，总结如下：1、书中所用python版本为2.6，本人操作时使用的是python3.6,有一些函数如reload、input等用法都有变化：    raw_input-------->input    reload()------------>import importlib   importlib.reload()    iteritem...

逻辑回归的目的：寻找一个非线性函数sigmoid的最佳拟合参数。求解时使用的是最优化算法，最常用的是梯度上升法。     利用逻辑回归进行分类的中心思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。       对于现有的一些数据点，我们用一条直线对这些点进行拟合（这条直线称为最佳拟合直线），这个拟合的过程就叫做回归。我们根据拟合的直线方程，进行分类。在《机器学习实战》中，使用sigmo...

       boosting算法和bagging算法都是把一些弱分类器组合起来来进行分类的方法，统称为集成方法（ensemble method）或元算法。boosting是集中关注分类器错分的那些数据来获得新的分类器，分类的结果是基于所有分类器的加权求和结果的。在bagging中分类器权重相等，而boosting中分类器的权值并不相等，每个权重代表的是其对应分类器在上一轮迭代中的成功度。分类器的...

SVM：支持向量机,是一种二分类的分类器，通过求解二次优化问题来解决最大化分类间隔。既支持线性分类，又支持非线性分类。线性分类不需要样本数据，非线性分类需要部分样本数据（支持向量）。                                            分隔超平面：将数据集分隔开来的直线。支持向量：离分隔超平面最近的那些点。SVM的核心思想：与逻辑回归类似，使用一组训练集求出一组权...

       与分类一样，回归也是预测目标值的过程。回归与分类的不同点在于，前者预测连续性变量，而后者预测离散型变量。1、用线性回归找到最佳拟合曲线       回归的目的是预测数值型的目标值。针对一个回归方程，求取回归系数的过程就是回归。一旦有了回归系数，再给定输人，做预测就非常容易了。具体的做法是用回归系数乘以输人值，再将结果全部加在一起，就得到了预测值。       假定输入数据存放在矩阵X...

      线性回归模型需要拟合所有样本（除局部加权线性回归外），当数据拥有众多特征且特征间关系十分复杂时，构建全局模型就显得太难了。一种可行的方法是将数据集切分成很多份易建模的数据，然后利用线性回归技术建模。如果首次切分后仍难以拟合线性模型就继续切分，在这种切分模式下，树结构和回归法相当有用。       CART（Classification And Regression Trees，分类回归...

1、K-means聚类       聚类是一种无监督的学习，它将相似的对象归到同一簇中。聚类的方法几乎可以应用所有对象，簇内的对象越相似，聚类的效果就越好。K-means算法中的k表示的是聚类为k个簇，means代表取每一个聚类中数据值的均值作为该簇的中心，或者称为质心，即用每一个的类的质心对该簇进行描述。        聚类和分类最大的不同在于，分类的目标是事先已知的，而聚类则不一样，聚类事先不...