机器学习(Machine Learning)≈让机器具备寻找函数的能力(Looking for Function),是的计算机系统能够从数据中学习并作出决策或预测,
分为三大类别:回归(Regression)、分类(Classification)以及结构化学习(Structured Learning)
回归(Regression):函数的输出是一个数值,一个标量。
示例算法:线性回归、岭回归、套索回归、支持向量回归、神经网络等
如下面的使用今天的与PM2.5相关的数据去预测明天的PM2.5的数值
分类(Classification):给出两个及以上个选项或类别,函数输出正确项,即让机器做选择题。其中又分为二分类和多分类。
- 二分类(Binary Classification):两类标签,如垃圾邮件检测分类;
- 多分类(Multi-class Classification):多类标签,如图像识别,电影分类。
结构化学习(Structured Learning):产生一个有结构的物体,如图片、文段等。
机器学习找函数分为三个步骤:
1.写出带有未知参数的函数(Function with Unknown Parameters)
因为上述函数是带有未知数b和w的,因此带来了猜测,猜测往往来自于对这个问题本质上的了解,及领域知识(domain knowledge)。上述函数中,被称为特征(feature),
被称为权重(weight),
被称为偏置(bias)。
2.从训练数据中定义损失(Define Loss from Training Data)
损失是函数,其输入是参数
和
。损失函数主要表征将未知参数
和
设定为某一数值时,这笔数值好还是不好。
3.优化(Optimization)
找一个和
,把未知的参数找出一个数值,看代入哪个数值进去可以让损失L最小,即是要找的
和
,这个让损失最小的
和
就称为
和
。梯度下降(gradient descent)是经常会使用优化的方法,但是梯度下降存在一个很大的问题,即没有找到真正最好的解,没有找到可以让损失最小的
。