斯坦福吴恩达 《机器学习》 学习笔记（1）之单变量线性回归

• 网易云课堂网址 http://study.163.com/course/courseMain.htm?courseId=1004570029

1. 机器学习
   1. 定义
      1. 计算机程序从经验E中学习而解决任务T，进行性能度量P, 通过P测定T的表现随经验E丰富而提高
      2. 对于跳棋，经验E就是程序与自己下几万次棋，任务T就是玩跳棋，P就是与新手对局时赢得概率
   2. 算法
      1. 监督学习和非监督学习
      2. 强化学习，推荐系统
2. 监督学习 supervised learning
   1. 定义 ： 根据给出的正确答案，得到更多正确答案
   2. 回归问题 regression： 预测连续的数值输出
      1. 房价预测,直线或二次函数拟合
   3. 分类问题 classification： 预测离散的数值输出
      1. 肿瘤预测 根据肿瘤大小预测肿瘤良性否
      2. 多特征 支持向量机

3. 无监督学习 unsupervised learning
   1. 数据集没有标签(正确答案)
   2. 聚类算法 自动将数据集分成几类， 如谷歌新闻中的新闻主题分类
   3. 鸡尾酒会问题 两人两不同距离的麦克风，获取到两人声音的不同组合，试图分离声音，如下Octave一句即可实现

4. Octave 建立机器学习原型，学习更高效

模型 model

1. 卖房子预测 是监督学习中回归问题 regeression
2. 模型拟合 算法过程如下，输入房子大小经过假设函数h输出房价预测值

3. h(x)为假设函数hypothesis,即用来预测的函数
   1. 参数m 表示数据集 tranning set 样本数量，x y 分别表示输入输出
      1. 如下是一个一元线性回归模型或单变量线性回归

5. 代价函数 cost function
   1. 对于如下的假设函数
   2. 计算它的平均误差函数，优化
   3. 目标是使得代价函数最小，即如下J函数

4. 代价函数函数随两个变量变化如下，
   1. 三维图

2. 等高线图 每个椭圆上的点拥有相同的代价值，离中心点越近，代价值越小

5. 自动找到使得函数J最小的两变量值的算法----下降梯度算法

下降梯度算法Gradient desent

1. 作用是使得函数最小化，不光是线性回归问题的代价函数
2. 梯度下降的每一步都是朝向函数下降最快的方向调整 变量值

3. 学习率learning rate(正数)代表了下降的步长，变量偏导数代表了变量调整下方向，起始点不同得到的局部最优解也不同
4. 学习率过小将会使得调整次数变多时间变长，学习率过大将可能导致梯度下降越过最低点甚至无法收敛或发散， 图中横轴值得变化就是每次的调整
5. 学习率保持不变，越接近最低点，偏导数绝对值越小，调整幅度也变小，最终到达最低点，之后因为偏导数为0所以每次调整幅度为0

6. 注意仿真实现的时候两个变量的值要同步更新，否则第二个变量的计算值将使用第一个变量更新后的值，导致出现偏差。
7. 凸函数 如上上图碗状，只有一个全局最优解，使用线性回归算法必然能得到最优解，
8. 以上的梯度下降算法又叫batch 梯度下降算法，因为

关注微信公众号 mjautoman ，我们一起学习机器学习，分享资料与心得！