【跟李沐学AI—机器学习】1 概述、决策树、线性模型

概述

1. 决策树

1.1 分类树

不停做决策（yes or no问题），直至达到树的末端，即叶子，得到类别

有机器学习基础

1.2 回归树

不停做决策（yes or no问题），直至达到树的末端，即叶子，得到具体的数值

1.3 优缺点

优点：可以知道结果是怎么得到的，中间过程清晰，即模型可以被解释；可以处理数值和类别信息

缺点：特征不断被分裂，模型不稳定，一旦其中出现噪声，会影响树的构建

解决方法：

1. 随机森林，多个树独立运行，最后统计，再分析结果，其中数据随机，特征随机
2. 梯度提升树：先预测多个树，得到预测值和真实值的差，再预测这些差的树（使用梯度下降法预测），最后把预测值和预测差相加，得到最终的值

---

2 线性模型

2.1 模型

假设所有预测值是加权和，即 预测值y=Σ(权重w*特征x)+偏移b，其中w、b都是可学习的参数

2.2 目标函数

目标函数（Objective Function）
是指在机器学习任务中所要优化的函数，它定义了学习算法的目标或优化目标。对于线性回归问题，最常见的目标函数是最小化平方误差，即最小化均方误差（Mean Squared Error，MSE）。

损失函数（Loss Function）
则是用来衡量模型预测值与实际目标值之间的差异或误差的函数。它是目标函数的一部分，用于度量模型在每个训练样本上的预测误差。对于线性回归问题，常用的损失函数也是均方误差（MSE），它衡量了模型预测值与实际目标值之间的平方误差。

在线性回归中，目标函数是最小化均方误差，而损失函数是衡量每个样本预测误差的均方误差。通过最小化损失函数来优化目标函数，我们能够找到最优的模型参数，使得模型的预测值与实际目标值之间的误差最小化。

softmax
（多类别分类问题）当你预测一个类别的时候，不仅要预测正确的类别，还要预测错误的其他所有的类别，但实际上我们只需要关注正确的类别即可。所以我们只需要取预测类别中概率最大的一个，即更关注正确的类别，会使得工作量减少。

随机梯度下降
先初始化权重全为1，在样本中随机取一个批次大小数量（batch size，自己定）的子样本集，计算预测值y，得到w，然后对w进行求导，再将w=w-导数*学习率（学习率自己定）（从导数方向下降可以最快达到最低点），不断迭代w值。