Time Will Tell

损失函数是用来估量模型的预测值f（x）与真实值不y一致的程度。我们的目的就是最小化损失函数，让f（x）与y尽量接近。通常可以使用梯度下降寻找函数最小值损失函数大致可以分成两类：回归和分类回归类型损失函数均方误差（Mean Square Error，MSE）模型预测值与样本真实值之间距离平方的平均值MSE是比较常用的一种损失函数它的曲线特点是光滑连续，可导，有利于使用梯度下降算法。而且M...

分类：定性回归：定量回归算法：线性回归岭回归树回归分类算法逻辑回归K邻近朴素贝叶斯支持向量机决策树：ID3，C4.5，cart集成算法：随机森林，adaboost，xgboost挖掘流程从大量数据中获取有效的，新颖的，潜在有用的。简单地说，数据挖掘就是从大量数据中提取或挖掘知识定义问题准备数据数据预处理特征工程生成模型评价模型部署和更新模型...

决策树有分类树与回归树两种本节重要记录了分类树构建决策树的准备工作：特征选择选取对训练数据具有分类能力的特征。利用香农熵（克劳德 香农）熵（杂乱程度）是表示随机变量不确定性的度量为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值（数学期望）。熵越小（不纯度）越低熵越高，信息的不纯度就越高，也就是混合的数据就越多。信息增益：父节点的信息熵与其下所有子节点总信息熵之差。子节...

前期知识先验概率与后验概率由以往的数据分析得到的概率，叫做先验概率（经验）在得到信息之后加以重新修正的概率叫做后验概率后验概率属于条件概率的一种朴素贝叶斯朴素贝叶斯是贝叶斯分类里面最简单的一种为什么叫朴素贝叶斯，朴素在哪里？假设所有的特征之间是统计独立的朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设来学习输入输出的联合概率分...

逻辑回归，名为回归，实际为分类分类：根据模型，对输入数据/样本，预测其归属的类别。其中，最常见的就是二分类模型，例如逻辑回归。逻辑回归模型，就是每个特征的回归系数，即wT。性质：◆线性分类器，若无特殊处理，无法解决非线性问题。建模过程：◆通过训练数据集，计算出“最合适”的系数向量。◆“最合适”，可理解为错误概率最低的情况。应用：◆分类建模效果的Baseline之一。类别A+非...

KNN：分类算法目标：对未知类别的样本进行分类预测步骤：1.对于某个未知类别样本，根据距离度量计算每个已知类别样本与其距离。2.选出K个与该未知类别样本距离最小的已知类别的样本。3.在K个已知类别样本里得到频数最多的类别，该类别就是未知类别样本的预测。...