笔者刚开始学习Andew Ng老师的机器学习课程,由于自己基础不是很好,写的笔记可能会出现一些错误,欢迎大家批评指正,互相交流。
第一个note主要讲了监督学习,分为四个部分:线性回归、逻辑回归(分类问题)、广义线性模型。监督学习,顾名思义,就是在有指导方向(就是输出y)的前提下学习,也就是说在训练集中每个样本都有对应的输出。学习的过程就是找出输入和输出(也称目标变量)的映射函数,这个函数就叫假设。当目标变量是连续的,这个学习过程称为回归;当目标变量是离散的,就是分类问题。整个课程介绍了学习模型,损失函数的定义以及原因,最后一节说明了线性回归和逻辑回归中假设函数 h 形式提出的根据 。
Linear regression
作者举了个预测房屋价格的例子。给出一些房屋的面积和每个卧室间数(两个特征)以及它们的价格,要求出一个假设/函数h 来预测另外的房屋价格:
再定义一个损失函数来评价这个假设逼近实际价格y的程度:
我们的目的就是求出使J(θ)最小的θ,代入h 算出来的就是预测的房屋价格。要使 J 最小,有两种方法,梯度下降和Normal Equation。
1. LMS algorigthm(Widrow-Hoff or Least Mean Squares)
梯度下降算法,它可以每次都在 J 下降最快的方向迭代,直到达到最小值。它的参数更新规则是:
其中α是学习速率。假设只有一个样本,计算出后,更新公式变为:
这个公式就是LMS更新规则。要扩展到多个训练样本,有两种方式: