目录
Task1----了解机器学习
一、机器学习
定义:机器学习是使机器具备学习的能力,通过数据训练,让机器找到解决问题的函数。
核心:自动寻找函数,以处理复杂任务,如语音识别、图像识别等。
二、机器学习任务类型:
- 回归(Regression):预测一个数值或标量。例如,根据环境因素预测未来的PM2.5数值。
- 分类(Classification):从预设的类别中选择一个作为输出。例如,邮件分类为垃圾邮件或非垃圾邮件。
- 结构化学习(Structured Learning):生成具有结构的输出,如绘画、写作等。
应用实例:
- 语音识别:输入声音信号,输出对应文字。
- 图像识别:输入图片,输出图片内容描述。
- AlphaGo:输入棋盘状态,输出下一步最佳落子位置。
特点:机器学习能够处理人类难以直接编程解决的复杂问题,通过大量数据训练模型,提高预测和决策的准确性。
三、机器学习的过程
- 步骤1: 写出带有未知参数的函数模型。
- 步骤2: 定义损失函数,评估模型参数的好坏。
- 步骤3: 使用优化算法找到最佳参数。
四、损失函数
损失函数是衡量模型预测值与实际值之间差距的指标,用于指导模型训练过程中参数的优化。以下是几种常见的损失函数及其数学表达式:
1. 平均绝对误差
- 其中,
是样本数量。
是第
个样本的实际值。
是模型预测的第
个样本的值。
2. 均方误差
- 与MAE类似,但对较大的误差给予更大的惩罚,因为误差是平方的。
3. 交叉熵损失
对于二分类问题,交叉熵损失可以表示为:
是二元标签(0或1)。
是模型预测的概率。
对于多分类问题,交叉熵损失的一般形式为:
是类别的数量。
是一个二进制指示器(0或1),如果类别
是样本
的正确分类。
是模型预测样本
属于类别
的概率。
损失函数的选择取决于具体问题和模型的需求。例如,对于需要精确预测的任务,MSE可能是一个好的选择,因为它对较大的误差有更大的惩罚。而分类问题,尤其是模型输出概率时,交叉熵损失通常更为合适。
五、梯度下降优化
1. 基本原理
通过迭代调整参数以最小化损失函数。
2. 更新规则
新参数 = 旧参数 - 学习率 * 导数
3. 超参数
例如学习率,需要手动设定。
4. 局部最小值与全局最小值
局部最小值指在某区域内损失最小,但不一定是全局最小;
全局最小值指在整个参数空间中损失最小。