闲人勿

一、集成学习1.概念集成学习的思想就是综合考虑多个算法的结果，通过投票机制，少数服从多数，将得票最多的结果设为最终的结果。import numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsx,y = datasets.make_moons(n_samples=500,noise=0.3,random_s...

 一、朴素贝叶斯KNN分类算法和决策树分类算法预测出一个确定的数值，但是，有时候分类器会产生错误结果；朴素贝叶斯分类算法则是给出一个最优的猜测结果，同时给出猜测的概率估计值。 我们现在用 p1(x,y) 表示数据点 (x,y) 属于类别 1（图中用圆点表示的类别）的概率，用 p2(x,y) 表示数据点 (x,y) 属于类别 2（图中三角形表示的类别）的概率，那么对于一个新数据点...

一、决策树1.概念决策树在现实生活中应用广泛，也非常容易理解，通过构建一颗决策树，只要根据树的的判断条件不断地进行下去，最终就会返回一个结果。例如下图所示。现在先通过sklearn中封装的决策树方法对数据进行分类，来学习决策树。import numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsiris =...

一、支持向量机svm1.概念svm即support vector machine 支持向量机，它既可解决分类问题，也可解决回归问题。在说明svm前，先看由逻辑回归得到的决策边界，如下左图所示。虽然这个决策边界将训练的样本区分开，但是这个决策边界的泛化能力并不好，靠近红色的那个蓝点明显地影响了最终决策边界的位置，而实际上这可能只是个噪声点。更合理的划分方式应该是如下右图所示。svm的思想，直观地来说...

一、分类算法评价指标1.分类准确度的问题分类算法如果用分类准确度来衡量好坏将会存在问题。例如一个癌症预测系统，输入体检信息，可以判断是否有癌症，预测准确度可以达到99.9%，看起来预测系统还可以，但是如果癌症的产生概率只有0.1%，那么系统只要预测所有人都是健康的就可以达到99.9%的准确率，因此虽然准确率很高，但是预测系统实际上没有发挥什么作用。更加极端的如果癌症概率只有0.01%，那么...

一、逻辑回归1.概念逻辑回归虽然名字上是回归，但是实际上解决的是分类问题。它将样本的特征和样本发生的概率联系起来，概率是个数，如果不进行最后的分类则可以视为回归。一般会设定一个阈值，如果该概率大于这个阈值就会分为一类，如果小于该阈值就会分到另外一类，所以说逻辑回归实际上解决的是分类问题。逻辑回归只能解决二分类问题，如果要解决多分类，则需要进行一定的改进。之前使用回归算法时，求得的y...

一、多项式回归1.思想线性回归的局限性是只能应用于存在线性关系的数据中，但是在实际生活中，很多数据之间是非线性关系，虽然也可以用线性回归拟合非线性回归，但是效果将会很差，这时候就需要对线性回归模型进行改进，使之能够拟合非线性数据。如图所示，左图为数据呈现出线性关系，用线性回归可以得到较好的拟合效果。右图数据呈现非线性关系，需要多项式回归模型。多项式回归是在线性回归基础上进行改进，相...

一、PCA1.PCA概念PCA（principle component analysis），即主成分分析法，是一个非监督的机器学习算法，主要用于数据的降维，通过降维可以发现更便于人理解的特征，此外还可以应用于可视化和去噪。...

一、梯度下降法梯度下降法本身不是一个算法，而是一种基于搜索的最优化方法，作用是最小化一个损失函数，这个损失函数不能够或者很难通过公式推导的方式得出一个解，所以需要用基于搜索的方法一步一步得到最终解。相对的有梯度上升法，即最大化一个效用函数，思想是完全一样的。...

一、机器学习机器学习就是让计算机通过代码挖掘出数据背后的规律。1.机器学习分类1）监督和非监督学习监督学习：给机器训练的数据已经有“标签”，主要用于分类（二分类、多分类）和回归。非监督学习：给机器的训练数据没有任何“标签”或者“答案”。半监督学习：给机器的训练数据一部分有“标签”或者“答案”，而另一部分没有，实际生产中数据很可能是这样的。增强学习：简单来说...

一、KNN算法1.基本思想选择数据集作为训练样本，这些数据集都带有标签。由于KNN算法没有训练这一过程，所以选择的训练样本其实也可以称为模型。假如现在得到一个新的样本x，想知道这个样本x属于哪个类别。KNN的方法就是：先求得这个样本x与所有训练样本的欧式距离（或者其他类型的距离），得到最靠近x的K个样本，接着在这K个样本中，统计类别标签以及类别标签的个数，类别标签数目最多的就可以作为样本x的分类。...

一、简单线性回归线性回归模型用来解决回归问题，思想简单，实现容易，是许多强大的非线性模型的基础，结果具有很好的解释性，蕴含机器学习中的很多重要思想。首先从简单线性回归开始，即特征只有1个。以波士顿房价为例。...