【吴恩达机器学习-笔记整理】大规模机器学习，随机/批量/小批量梯度下降，在线学习，数据并行

🌵🌵🌵前言

✨你好啊，我是“ 怪& ”，是一名在校大学生哦。
🌍主页链接：怪&的个人博客主页
☀️博文主更方向为：课程学习知识、作业题解、期末备考。随着专业的深入会越来越广哦…一起期待。
❤️一个“不想让我曾没有做好的也成为你的遗憾”的博主。
💪很高兴与你相遇，一起加油！

一、处理大数据集的算法

当数据较多时，算法会运行的比较好

有些情况，数据量增加并不会带来可观的增益

二、随机梯度下降-批量梯度下降

使算法能够应用到更大的训练集中

步骤：

1、随机打乱所有数据
2、对所有训练样本进行遍历，更新参数

批量梯度下降与随机梯度下降的步骤对比

批量梯度下降：红线（较为合理的直线）
随机梯度下降：紫红线，总的来看，参数朝着全局最小的方向移动，偶尔也有例外。

三、Mini-batch 梯度下降

1、三种梯度下降的不同：

b一般选择：10（2-100）

2、步骤：

一次使用b个样本优点：在向量化的过程中，小批量梯度下降可能比随机梯度下降算法更好。（可以进行很好的并行计算）

四、随机梯度下降收敛

1、步骤

随机梯度下降算法不是直接收敛至全局最小值，而是在一个范围内反复震荡的

2、不同的情况

画出某个范围内样本cost的均值，可能出现的情况
左上图：红线与蓝线相比，减小了学习率
右上图：红线与蓝线相比，使用了更多的样本（每隔5000比每隔1000）
左下角：使用更多样本计算的均值来描点
右下角：应该用更小的学习率

3、学习速率的设置

为了使随机梯度下降更好的收敛到全局最小值，让学习速率随着时间变化逐渐减小（常数1除以/（迭代次数+常数2））
此方法较少采用，而是让学习速率保持为一个常数（此做法最后结果已足够使人满意）。

五、在线学习

1、有连续的数据流（例如有新的用户不断涌入）

在线学习优点：可以适应变化的用户偏好
例如：经济环境发生变化，用户对价格格外/不敏感，愿意/不愿意支付更高的费用。

2、产品搜索的应用

预测点击特定链接的概率（专业名称：点击率预测学习问题/CTR学习）

六、减少映射与数据并行

MapReduce
关键：学习算法是否可以表示成对训练集的一种求和
有些线性代数库会自动并行在一个电脑的多核上执行

❤️❤️❤️忙碌的敲代码也不要忘了浪漫鸭！