机器学习笔记——大规模机器学习（large scale machine learning）

最新推荐文章于 2024-01-26 15:40:35 发布
最新推荐文章于 2024-01-26 15:40:35 发布
阅读量787 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 机器学习 大规模机器学习 随机梯度下降 在线学习 map-reduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanwenkang/article/details/85547541
版权

大规模机器学习

大规模机器学习指的是训练样本数量非常大的情况。

随机梯度下降

我们在用梯度下降求解代价函数的最小值时我们每一次迭代都要让所有数据都参与一次运算，因此我们也将其叫做批梯度下降（batch gradient desent），这样带来的运算量将会非常大

为了解决这个问题，我们可以采用随机梯度下降（stochastic）算法，每次θ更新只将一个数据纳入样本计算，这样相当于每次更新迭代只针对某一个数据进行优化，但是对于整体代价函数不见得每次都朝最小值处衍进，而是一个曲折下降的过程，但是最终可以收敛到最小值附近

另外还有处在批梯度下降和随机梯度下降之间的方法叫做迷你批梯度下降（mini-batch gradient descent），它每次采用b个数据来更新θ，这样使得算法收敛可以更加迅速

收敛性

我们可以通过以下的方式检查随机梯度下降算法的收敛性，例如我们每一千个循环计算上一千个数据的代价函数

可以有以下结果，下图三的情况很可能是取点间隔太近了，如果我们每隔5000个数据计算一次代价函数，可能就很很好看到代价函数下降的过程了。而如果代价函数一直是上升的，代表我们的学习速率太大了

为了让算法收敛速度更快，我们还可以根据算法迭代的次数来自动调整学习速率

在线学习

当我们有源源不断的数据时我们可以让算法在线学习新数据的特征，我们每来一个新的数据后用随机梯度下降算法来减小代价函数，之后把这个数据抛弃，等待下一个数据的到来。这样的好处是能够让算法随时学习数据特征的改变

以下是另外一个例子

Map-reduce

除了随机梯度下降算法，我们还可以采用map-reduce技术来加快算法的收敛，map-reduce说到底就是并行计算，把本来一次需要计算的数据（例如400个）分配到四台机器上，这样理论上算法就能加快四倍

另外一些高级优化也能通过map-reduce加速

除了将计算放到多台机器上，我们还可以放到多个CPU核心上来实现并行计算

 

 

Veropatrinica
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Large Scale Machine Learning with Python
08-18
Large Scale Machine Learning with Python [PDF + EPUB + CODE] Packt Publishing | August 4, 2016 | English | 439 pages Large Python machine learning projects involve new problems associated with specialized machine learning architectures and designs that many data scientists have yet to tackle. But
视频学习笔记——李宏毅机器学习——P1，2
09-12
此为datawhale组队学习（李宏毅机器学习）学习笔记 是看视频做的原创笔记 此为第一天打卡
大规模机器学习(Large Scale Machine Learning)
最新发布
qq_45742413的博客
01-26 2463
但是这些是实际的问题，在这些问题里，你会看到大公司会获取如此多的数据，真的没有必要来保存一个固定的数据集，取而代之的是你可以使用一个在线学习算法来连续的学习，从这些用户不断产生的数据中来学习。这就是在线学习机制，然后就像我们所看到的，我们所使用的这个算法与随机梯度下降算法非常类似，唯一的区别的是，我们不会使用一个固定的数据集，我们会做的是获取一个用户样本，从那个样本中学习，然后丢弃那个样本并继续下去，而且如果你对某一种应用有一个连续的数据流，这样的算法可能会非常值得考虑。将重叠的区域进行合并。
机器学习课堂笔记——大样本理论、梯度计算方法
LarsGyonX的博客
03-07 755
机器学习第二周课堂笔记 自用
机器学习 day17大规模机器学习
博客
07-25 173
01 学习大数据集 大规模机器学习就是处理大数据集的算法 一种获取高性能的机器学习系统的途径是采用低偏差的学习算法并用大数据进行训练。 大数据集学习的特有问题是计算问题。 在训练一亿个样本之前，我们可以随机选择一亿个样本中的一千个样本，然后用这一千个样本来训练我们的算法。如果用一千个样本训练效果也是一样的话，在训练大量的模型前预先检查往往也是一个明智的选择。如果效果相同的话，可以根据这一千个样本绘制学习曲线，如果画出左图高方差的曲线那么增加训练集还是有作用的，如果是右边高偏差的算法，样本也不会比训练10
机器学习（十七）大规模机器学习
weixin_53312629的博客
08-11 1008
本篇文章主要介绍了大规模的机器学习，通过找出合理的计算方法或高效的计算方法来处理庞大的数据集；随机梯度下降算法在每次迭代中不需要考虑全部的训练样本，只需考虑一个样本，因此要快得多；小批量梯度下降算法在好的条件下会比随机梯度下降算法和批量梯度下降算法都要快；在随机梯度下降收敛中介绍了一种方法来近似地检验随机梯度下降算法在优化代价函数中的表现；在线学习机制与随机梯度下降算法非常类似，但不会使用一个固定的数据集；在映射归约与数据并行中我们介绍了MapReduce方法来并行化计算机器学习问题。 ...
入门机器学习(二十一)--大规模机器学习(Large Scale Machine Learning)
魔法师の屋子★↓☆
06-26 3686
大规模机器学习（Large Scale Machine Learning）1. 大型数据集的学习(Learning With Large Datasets)2. 随机梯度下降法(Stochastic Gradient Descent)3. 小批量梯度下降(Mini-Batch Gradient Descent)4. 随机梯度下降收敛(Stochastic Gradient Descent Conv...
【Machine Learning】17 大规模机器学习(Large Scale Machine Learning)
weixin_38716567的博客
02-18 207
本章主要介绍大数据规模下的机器学习算法：随机梯度下降算法、小批量梯度下降算法、在线学习思想、并行计算思想等等。 17.1 Learning With Large Datasets “It’s not who has the best algorithm that wins. It’s who has the most data.” 由之前所说，通过描绘学习曲线来判断增大数据量是否对学习效果有...
大规模机器学习的未来趋势：从数据到算法
禅与计算机程序设计艺术
01-04 336
1.背景介绍 大规模机器学习(Large-scale Machine Learning)是指在大量数据和计算资源的支持下，研究和应用机器学习算法的领域。随着数据规模的增加，机器学习算法的复杂性也随之增加，这给算法的性能和效率带来了挑战。因此，大规模机器学习成为了当今机器学习研究的热点和关键领域。 在这篇文章中，我们将从数据到算法，深入探讨大规模机器学习的未来趋势和挑战。我们将涉及以下几个方面：...
使用ClickHouse的机器学习——Machine Learning with ClickHouse.pdf
04-01
使用ClickHouse的机器学习——Machine Learning with ClickHouse.pdf
Optimization Methods for Large-Scale Machine Learning
01-13
清晰 彩色 When most people hear “Machine Learning,” they picture a robot: a dependable butler or a deadly Terminator depending on who you ask. But Machine Learning is not just a futuristic fantasy, it’s already here. In fact, it has been around for decades in some specialized applications, such as Optical Character Recognition (OCR). But the first ML application that really became mainstream, improving the lives of hundreds of millions of people, took over the world back in the 1990s: it was the spam filter. Not exactly a self-aware Skynet, but it does technically qualify as Machine Learning (it has actually learned so well that you seldom need to flag an email as spam anymore). It was followed by hundreds of ML applications that now quietly power hundreds of products and features that you use regularly, from better recommendations to voice search.
MachineLearning_机器学习笔记_
09-30
机器学习白板推导笔记，有typora和pdf两个版本
machine learning机器学习学习笔记
09-03
个人所做机器学习的学习笔记，分享出来给有需要的人，很入门的课程，大神就不用看了，pdf格式
机器学习笔记-Chapter 1 – The Machine Learning landscape
02-13
机器学习笔记 Chapter 1 – The Machine Learning landscape 本篇属于概念性笔记，代码在后几章的学习中会总结出来
快速理解图神经网络（GCN）
shanwenkang的博客
06-02 3314
网上对图卷积神经网络（Graph Convolutional Networks）的介绍大都说的云里雾里，让人看了不甚明白，无意中找到了篇很好的文章，让我对图神经网络中f(X, A) = D⁻¹AX这个式子有一个很清楚的了解。本文主要参考这篇文章，强烈建议大家去读一下原文： https://towardsdatascience.com/how-to-do-deep-learning-on-graphs-with-graph-convolutional-networks-7d2250723780。 介绍 本文的
机器学习笔记——推荐系统（recommender system）
shanwenkang的博客
01-01 2635
推荐系统 我们在平时最常见的就是某个网站给你推荐广告，豆瓣给你推荐电影，网易云给你推荐你喜欢的歌，这种系统我们统一称作推荐系统 基于内容的推荐 我们举一个电影打分的例子 我们可以为某一部电影选定特征，不同人对不同的特征有不同的偏爱特性，借此我们可以预测某个人对某部特定电影的打分，输入x是某部电影的特征，θ是某个人对电影特征的偏爱参数 以下是该问题的一些参数 因此对于给定电影...
机器学习笔记——神经网络（neural networks）
shanwenkang的博客
12-14 2418
神经网络 非线性假设 对于非线性假设而言，当特征足够多的时候，如果我们仍采用多项式进行线性拟合，那么我们将获得数量非常庞大的高次项，这使得计算变得非常复杂。出于这个原因，我们受到人脑的启发，提出了神经网络 我们可以将logistic单元表示成神经元的形式，中间的神经元代表假设函数h，左侧是输入，右侧是输出 如果我们的输入输出之间经过了多层计算，这样一种结构我们就叫做神经网络 ...
机器学习笔记——降维（dimensionality reduction）
shanwenkang的博客
12-18 1624
降维 目的 我们对数据进行降维的目的有两个：一个是数据压缩，对于数据压缩我们可以大大地节省存储空间 第二就是使得数据可以可视化，我们将多维数据压缩成二维可以供我们更好地观察数据的特征 主成分分析（PAC） 主成分分析法可以将n维的数据降为k维，实际上我们是选取了一个k维的基向量，然后将n维的数据映射到k维上，使得投影误差最小。这k个基向量就是我们的主成分 在降维之前我们也需...
机器学习machine learning 研究如何使计算机
09-15
机器学习（Machine Learning）是一门研究如何使计算机具备自动学习能力的学科。它通过构建数学模型和算法，让计算机能够从已经有的数据中自动学习，并根据学习到的知识完成各种任务，而无需显式地编程指令。 机器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值