jinming215的博客

K均值聚类（k-means clustering）算法是一种常用的、基于原型的聚类算法，简单、直观、高效。

概率是反映随机事件出现的可能性大小. 随机事件是指在相同条件下，可能出现也可能不出现的事件. 例如：（1）抛一枚硬币，可能正面朝上，可能反面朝上，这是随机事件. 正/反面朝上的可能性称为概率；（2）掷骰子，掷出的点数为随机事件. 每个点数出现的可能性称为概率；（3）一批商品包含良品、次品，随机抽取一件，抽得良品/次品为随机事件. 经过大量反复试验，抽得次品率越来越接近于某个常数，则该常数为概率.我们可以将随机事件记为A或B，则P（A）, P（B）表示事件A或B的概率.PA∣BPAPB。

（1）支持向量机是二分类模型（2）支持向量机通过寻找最优线性模型作为分类边界（3）边界要求：正确性、公平性、安全性、简单性（4）可以通过核函数将线性不可分转换为线性可分问题，核函数包括：线性核函数、多项式核函数、径向基核函数（5）支持向量机适合少量样本的分类。

先训练出一个初始模型；根据模型的表现进行调整，使得模型预测错误的数据获得更多的关注，再重新训练下一个模型；不断重复第二步，直到模型数量达到预先设定的数目T，最终将这T个模型加权结合.AdaBoosting是Boosting算法族中最著名的算法，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

在样本数量较少的情况下，如果将样本划分为训练集、测试集，可能导致单个集合样本数量更少，可以采取交叉验证法来训练和测试模型.将所有数据，划分成N等分，用每份都去训练，用每份都去测试所有的数据，都去训练，所有的数据都去测试“交叉验证法”（cross validation）先将数据集D划分为k个大小相同（或相似）的、互不相交的子集，每个子集称为一个"折叠"（fold），每次训练，轮流使用其中的一个作为测试集、其它作为训练集. 这样，就相当于获得了k组训练集、测试集，最终的预测结果为k个测试结果的平均值.

1）逻辑回归是分类问题，用于实现二分类问题2）实现方式：利用线性模型计算，在逻辑函数作用下产生分类3）多分类实现：可以将多分类问题转化为二分类问题实现4）用途：广泛用于各种分类问题。

例如预测某人薪资：年龄：1-青年，2-中年，3-老年学历：1-本科，2-硕士，3-博士经历：1-出道，2-一般，3-老手，4-骨灰性别：1-男性，2-女性样本数量非常大，100W条使用树形结构年龄1⎩⎨⎧​学历1学历2学历3​年龄2⎩⎨⎧​学历1学历2学历3​年龄3⎩⎨⎧​学历1学历2学历3​sklearn提供的决策树底层为cart树（Classification and Regression Tree）

住房每平米单价为1万元，100平米住房价格为100万元，120平米住房为120万元；一台挖掘机每小时挖100m3100m^3100m3沙土，工作4小时可以挖掘400m3400m^3400m3沙土.线性模型在二维空间内表现为一条直线，在三维空间内表现为一个平面，更高维度下的线性模型很难用几何图形来表示（称为超平面）.如下图所示：二维空间下线性模型表现为一条直线三维空间下线性模型表现为一个平面输入(x) 输出(y)0.5 5.00.6 5.50.8 6.0。