机器学习随堂笔记（2）ᝰ假设空间、判别模型、高斯分布、线性回归、统计学习

机器学习期末简答笔记https://blog.csdn.net/qq_42368540/article/details/122063678?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166235741416782412514597%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=166235741416782412514597&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-122063678-null-null.142%5Ev46%5Epc_rank_34_default_3&utm_term=%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%9C%9F%E6%9C%AB&spm=1018.2226.3001.4187

一、假设空间、版本空间

假设空间：属性所有可能取值组成的可能的样本

版本空间：与已知数据集一致的所有假设的子集集合。

>>>假设空间和版本空间

>>>假设空间和版本空间2

二、奥卡姆剃刀原则

奥卡姆剃刀原理https://blog.csdn.net/onehao/article/details/89086859?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166235522516781683940217%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=166235522516781683940217&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-89086859-null-null.142%5Ev46%5Epc_rank_34_default_3&utm_term=%E5%A5%A5%E5%8D%A1%E5%A7%86%E5%89%83%E5%88%80%E5%8E%9F%E5%88%99&spm=1018.2226.3001.4187

三、生成模型和判别模型

>>>生成模型和判别模型

四、高斯分布

给定P(x)，参数已知即可求μ和σ

>>>高斯分布

---

五、线性回归

>>>机器学习算法——线性回归

响应变量y和解释变量x

六、最小二乘法

f(x)和y的差距越小越好

为了0处可导，比较用差的平方而非差的绝对值

>>>最小二乘法

七、统计学习三要素

>>>三要素

决策规则

>>>贝叶斯决策理论之两大基本决策规则

小写字母为变量，小写黑体字母为向量，大写字母为矩阵

机器学习中的向量求导和矩阵求导https://blog.csdn.net/xingzhe123456789000/article/details/107224247?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166252576716782417019990%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=166252576716782417019990&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~pc_rank_34-3-107224247-null-null.142%5Ev47%5Epc_rank_34_default_2,201%5Ev3%5Econtrol_1&utm_term=%E5%90%91%E9%87%8F%E5%AF%B9%E5%90%91%E9%87%8F%E6%B1%82%E5%AF%BC&spm=1018.2226.3001.4187范德蒙行列式https://blog.csdn.net/chepwavege/article/details/100227741?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-2-100227741-blog-52668296.pc_relevant_multi_platform_featuressortv2dupreplace&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-2-100227741-blog-52668296.pc_relevant_multi_platform_featuressortv2dupreplace&utm_relevant_index=5

模型太复杂未必是好事

八、Fisher线性判别分析

>>>Fisher线性判别分析

九、协方差

>>>什么是协方差，怎么计算？为什么需要协方差？

十、感知机

>>>什么是感知机（超详细 | 图文）