李宏毅2020机器学习【学习笔记】P1机器学习、P3Regression(回归）、P4Basic Concept(基本概念）

感谢B站up主搬运的课程：

【李宏毅2020机器学习深度学习(完整版)国语】 https://www.bilibili.com/video/BV1JE411g7XF/?share_source=copy_web&vd_source=262e561fe1b31fc2fea4d09d310b466d

P1 机器学习

    # 概念
    # Supervised Learning / Reinforcement Learning / Unsupervised Learning
    # 三种训练方式的区别
 

P3 Regression

    # Regression流程(分Step讲解）
    # 利用 Gradient Desccent 梯度下降法求解 arg min L (理论+图解）
    # 通过使用更复杂的Model、加入隐藏因子(增加特征变量)引入 overfitting 过拟合 的概念
    # Regularization 正则化——解决过拟合的一种手段 / 也可以减少可能是不必要的特征变量

P4 Basic Concept

    # 引入： function 的 Error 来源于 fuction 的 bias & variance
    # 从概率论的角度讲了抽样中样本均值、样本方差 以及 它们各自的期望、方差(是总体均值的无偏估计、是总体方差的有偏估计，但貌似后面只用到了样本均值和样本方差的概念）再到function 空间中(靶子)讲一下抽样均值方差
    # 用不同复杂度的 Model 抽样得到的 function 来理解 function 的 bias & variance ，引入欠拟合(简单的模型bias大)、过拟合(复杂的模型variance大)+应对方法
    # Cross Validation 交叉验证(一种降低Error的理论方法)