写在开头:内容大部分来自伯禹学习平台
什么是机器学习
由 Tom Mitchel给出的更加数学化的定义:机器学习是一门硏究学习算法的学科,这些算法能够:
在某些任务T上、通过经验E、提升性能P、非显式编程实现
一个学习任务可以由三元组<T、P、E>明确定义
两种机器学习类型
- 面向预测
根据数据预测所需的输出(监督学习):给定数据和标签预测所需的输出,最理想的场景
生成数据实例(无监督学习):分析和利用隐式数据模式/结构 - 面向决策
在动态环境中采取行动(强化学习):学习在动态环境中动作执行的决策,并获得尽可能多的奖励值
转变到新的状态
获得即时奖励
随着时间的推移最大化累积奖励
机器学习基本思想
机器学习过程
监督学习
学习目标
注:平方误差的优点:
①对大的预测误差有更大的惩罚
②能够容忍很小的误差如观测误差等从而提升模型的泛化能力
更新参数:梯度学习方法(后续详细学习 )
模型选择
欠拟合和过拟合
正则化
添加参数的惩罚项,纺织模型对数据过拟合
奥卡姆剃刀原则
有多个假设模型时,我们应该选择假设条件最少的建模方法。
交叉验证
多次交叉验证选择最好的结果对应的超参数,选择好的超参数之后,对整个训练数据进行模型训练,然后用测试数据对模型进行测试。
模型泛化性
泛化误差:当拥有一个模型f的时候,我们希望能够对于我们已观测到的数据的变量X和希望预测到的变量Y之间做一个全数据空间上的积分,使得对于任何可能出现的X和Y这样的数据,计算f(x)的预测值以及计算相应对于Y标签的损失函数,通过对x,y这样的数据分布的积分,得到根据当前的数据分布,在F(x)条件下,得到与Y值之间的损失函数的期望,即为泛化误差。