Coursera机器学习课程笔记(十)

Coursera机器学习课程笔记(十)

1、不同的梯度下降算法

课程中介绍了三种不同的梯度下降算法,分别是批量(batch)梯度下降算法,小批量(mini-batch)梯度下降算法, 随机(stochastic)梯度下降算法:

  • 批量梯度下降算法:对m个样本进行计算(计算成本函数和对各theta的偏导)
  • 小批量梯度下降算法:每次对少批量的样本计算
  • 随机梯度下降算法:一次只对一个样本进行计算

对于小批量梯度下降,必须要将运算向量化实现才是比随机梯度下降更好的算法。

随机梯度下降的前提条件是必须将样本随机排列,然后在依次遍历一个个样本进行梯度下降算法,过程可以如下图表示:
这里写图片描述

2、在线学习和Map-reduce

在线学习可以看成是实时进行的随机梯度下降算法,不同之处在于在线学习的样本并没有保存在本地,而是根据持续不断的信息来获得的。

Map-reduce可以帮助我们应对大规模数据的运算,以批量梯度下降为例,如果有四台运算机器,就可以实现如下过程:
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值