机器学习-5

线性回归

回顾：

解析解（矩阵），数值解

随机，p ，小p-梯度下降（mini-batch）

L1正则化对应岭回归，L2对应lasso回归

分类评价:

混淆矩阵:正例，反例，预测结果，真实情况

--查准率，查全率

--PR图（调和平均），BEP（1.看曲线能否包出，2.平衡点，在外性能更好）

多混淆矩阵（宏）

分类模型的评价指标--混淆矩阵，ROC，AUC，KS，Lift，Gain_shy19890510的博客-CSDN博客_lift对于分类模型，常用的指标有混淆矩阵、ROC曲线，AUC值，KS曲线以及KS值、Lift图，Gain图等，查阅了很多的资料，加入自己的理解整理了一下他们的计算方法和意义，希望对大家有帮助。1. 混淆矩阵---确定截断点后，评价学习器性能假设训练之初以及预测后，一个样本是正例还是反例是已经确定的，这个时候，样本应该有两个类别值，一个是真实的0/1，一个是预测的0/1 ...https://blog.csdn.net/shy19890510/article/details/79501582?utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link

聚类评价：

外部指标，内部指标

比较检验看泛化的效果，这才是真正需要的：留出法/交叉检验法->t分布检验

三、比较检验_qz的博客-CSDN博客_比较检验文章目录一、概述二、 具体检验方法1. 估计假设精度2. 采样理论基础3. 多次训练/测试的检验 - t检验4. 交叉验证t检验1. 基本思路5. MCNemar检验6.Friedman检验和Nemenyi后续检验一、概述比较检验的重要方法是统计假设检验，它为我们进行学习器性能比较提供了重要依据。统计假设检验：假设检验步骤：带入机器学习：二、 具体检验方法1. 估计假设精度区分两种错误率：errors（h）在何种程度上提供了对errorD(h)的估计？2. 采样理https://blog.csdn.net/m0_45210226/article/details/109016174?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163393383416780357213991%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=163393383416780357213991&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-109016174.first_rank_v2_pc_rank_v29&utm_term=%E6%AF%94%E8%BE%83%E6%A3%80%E9%AA%8C&spm=1018.2226.3001.4187泛化误差：偏差+方差+噪声

所谓特征工程，就是个名词，你为了做你的模型，把数据按照你的理解做出符合模型的特征。那么，杂乱的数据首先得有自己的理解，结合专业知识，进行数据清洗。

 

 

线性回归

SPSS 26下载与安装_张同学-CSDN博客_spss26

回归分析：

线性回归，一元线性回归，先判断是函数关系还是相关关系，即求相关系数。

一般表达式用最小二乘目标函数（也就是拟合）。为什么用平方和作为残差?首先，直接作差有正有负，而绝对值的数学性质不好（不利于求导），所以用平方，甚至还可以在前面乘一个1/2。

中心极限定理，样本均值=总体均值，不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的整体平均值周围，并且呈正态分布。极大似然估计，取对数。

解析解的问题：没有，n的值小于p，正定的，可逆的，转置，不能求解？？？？

岭回归就是矩阵有一个岭，

它的名字来源于模型的解与正则化参数λ之间的图像。

logistical回归