李宏毅机器学习笔记【10月20日更新】

李宏毅机器学习笔记

P1 机器学习介绍

机器学习

定义：机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式， 并将现有内容进行知识结构划分来有效提高学习效率。

​ 简单来说，machine learning所做的事情，就是在寻找一个function，要让机器具有一个能力，这种能力是根据提供给他的资料（数据），它去寻找出我们需要的function。

​ 还有很多关键问题都可以想成是我们就是需要一个function。（输入和输出）

​ eg：语音辨识 影像辨识…

• 如何找出function
  

在整个machine learning framework整个过程分成了三个步骤：

1. 就是找一个model（function set）
2. 让machine可以衡量一个function是好还是不好
3. 让machine有一个自动的方法可以挑出最好的function

ps：function set的含义：比如y=a+bx是一个线性模型，a和b即参数取不同的值就是一个function函数，这样就可以得到无穷多个function，构成function set ，机器需要从中挑选出最合适的function

机器学习相关的技术

• 蓝色scenario，指的是学习的情景，通常学习的情景没有办法控制的；

• 橙色task，指要解的问题，有回归regression、分类classification、结构化structured不同种类；

• 绿色model，指在这些不同task里面有不同的model；

监督学习

1. Regression回归：输出的是一个数值（如PM2.5的预测 ）

2. Classification分类 选择正确的分类

ps：一种叫做二分类（Binary）输出的是是或否（Yes or No）垃圾邮件；另一类叫做多分类（Multi-class）文章分类

半监督学习

​ 监督学习的问题是我们需要大量的training data。training data告诉我们要找的function的input和output之间的关系

​ 但现实中有很多没有标识的数据，但他们仍对机器学习有帮助

迁移学习

​ 迁移学习的意思是：假设我们要做猫和狗的分类问题，我们也一样，只有少量的有label的data。但是我们现在有大量的data，这些大量的data中可能有很多其他不相关的数据（老虎、人……）

无监督学习

​ 在完全没有任何label的情况下，到底机器可以学到什么样的事情（给机器看到的只有非常大量的图片，只有function的input，没有output）

结构化学习

​ 结构化学习是监督学习中的一类问题， 输出是有结构的，如翻译 中文句子->英文句子

reinforcement learning强化学习
从评价中来学习  告诉机器它做的好还是不好

P2 AI训练师

为机器挑选合适的model和loss fuction（损失函数）

P3 Regression回归

定义

Regression 就是找到一个函数 function，通过输入一个或多个特征 x，输出一个数值 Scalar

应用

• 股市预测（Stock market forecast）
  • 输入：过去10年股票的变动、新闻咨询、公司并购咨询等
  • 输出：预测股市明天的平均值
• 自动驾驶（Self-driving Car）
  • 输入：无人车上的各个sensor的数据，例如路况、测出的车距等
  • 输出：方向盘的角度
• 商品推荐（Recommendation）
  • 输入：商品A的特性，商品B的特性
  • 输出：购买商品B的可能性

步骤

• step1：模型假设（Model），选择模型框架（线性模型）
• step2：模型评估（Goodness of Function），判断众多模型的好坏（损失函数）
• step3：模型优化（Best Function），如何筛选最优的模型（梯度下降）

Step1 模型假设

假设线性模型Linear Model：
$$y=b+\sum w_i{x}_i$$
$x_i$：各种特征feature；$w_i$：各个特征的权重；$b$：偏移量

一元线性模型（单个特征），多元线性模型（多个特征）

Step2 模型评估

• 收集训练数据（多组输入和输出）
• 如何判断众多模型的好坏

​ 有了真实的数据，如何衡量模型的好坏？从数学的角度来讲，使用距离。即求【真实值】与【模型预测值】之差来判定模型的好坏。也就是使用损失函数（Loss function） 来衡量模型的好坏

【一元线性模型$y=b+wx$】

假设Loss function 为所有训练样本真实值与预测值之差的平方和：
$$L(f)=n=$$