Datawhale X 李宏毅苹果书 AI夏令营 机器学习笔记

概念

机器学习

机器学习（machine learning），顾名思义，机器具备有学习的能力。具体来讲，机器学习就是让机器具备找一个函数的能力。

机器学习的类别

随着要找的函数不同，机器学习有不同的类别。

回归：假设要找的函数的输出是一个数值，一个标量（scalar），这种机器学习的任务称为回归（regression）。

分类：要找的函数的输出是从设定好的选项（即类别，class）里面选择一个当作输出，该任务称为分类（classification）。

结构化学习：叫机器产生有结构的东西的问题称为结构化学习（structured learning）。比如写一篇文章，画一张图片。

机器学习的步骤

第一个步骤是写出一个带有未知参数的函数f，函数的输出y是要预测的东西。如函数y=b+wx1。 

在这个函数中，y跟x1都是数值。b跟w是未知的参数，是准备要通过数据去找出来的。

w跟b是未知的，只是隐约地猜测。猜测往往来自于对这个问题本质上的了解，即领域知识（domain knowledge）。

模型：带有未知的参数（parameter）的函数称为模型（model）。模型在机器学习里面，就是一个带有未知的参数的函数，特征（feature）x1是这个函数里面已知的信息，而w跟b是未知的参数。w称为权重（weight），b称为偏置（bias）。

第2个步骤是定义损失（loss），损失也是一个函数。损失是函数L(b, w)，其输入是模型参数
b跟w。

机器学习的第3步：解一个最优化的问题。找一个w跟b，把未知的参数找一个数值出来，看代哪一个数值进去可以让损失L的值最小。

梯度下降（gradient descent）是经常会使用优化的方法。

学习率

超参数

全局最小值（global minima）
局部最小值（local minima）