逻辑回归模型(LR)
原理:分类模型,依据逻辑斯蒂分布,将线性模型转化为逻辑回归模型,使结果分布0~1之间。
前置条件:
自变量为连续变量,分类变量转为虚拟变量(哑变量)使用
自变量与因变量存在相关性
自变量之间不存在共线性
参数求解:极大似然估计
优化算法:拟牛顿法,梯度下降法
R方:模型中自变量对因变量的解释程度
聚类模型(Kmean)
原理:选取k个实例作为质心,计算所有实例到质心的距离,根据距离划分实例所属的质心,再对每个分类计算新的质心(中心点),再次求取距离划分所属质心,直至质心不再发生改变或达到最大迭代次数。
前置条件:数据无量纲化(正则化或归一化)
距离:余弦相似度,欧式距离
k值:先预设一个k值,聚类结束观察各类之间属性是否区分明显,若不明显则调整k值
决策树(CART)
原理:计算所有特征的可能切分点的基尼指数,选取最小基尼指数进行切分,直至所有特征都进行划分,再计算每个节点的损失函数(即预剪枝前后的基尼指数之差),选取最小的进行剪枝,采用交叉验证法选出整体基尼指数最小的树作为最优树
基尼指数:类似信息熵,用于