03 常用统计模型简述

逻辑回归模型(LR)

 

原理：分类模型，依据逻辑斯蒂分布，将线性模型转化为逻辑回归模型，使结果分布0~1之间。

前置条件：

自变量为连续变量，分类变量转为虚拟变量（哑变量）使用

自变量与因变量存在相关性

自变量之间不存在共线性

参数求解：极大似然估计

优化算法：拟牛顿法，梯度下降法

R方：模型中自变量对因变量的解释程度

聚类模型(Kmean)

原理：选取k个实例作为质心，计算所有实例到质心的距离，根据距离划分实例所属的质心，再对每个分类计算新的质心(中心点)，再次求取距离划分所属质心，直至质心不再发生改变或达到最大迭代次数。

前置条件：数据无量纲化（正则化或归一化）

距离：余弦相似度，欧式距离

k值：先预设一个k值，聚类结束观察各类之间属性是否区分明显，若不明显则调整k值

决策树(CART)

原理：计算所有特征的可能切分点的基尼指数，选取最小基尼指数进行切分，直至所有特征都进行划分，再计算每个节点的损失函数（即预剪枝前后的基尼指数之差），选取最小的进行剪枝，采用交叉验证法选出整体基尼指数最小的树作为最优树

基尼指数：类似信息熵，用于