Machine Learning Yearning(3、4)

最新推荐文章于 2022-10-09 20:01:36 发布
最新推荐文章于 2022-10-09 20:01:36 发布
阅读量884 收藏
点赞数 1
分类专栏： 【Machine Learning】 图像处理 & 机器学习 文章标签： 机器学习 yearning

NG的机器学习教程，第三章：预备知识和注释；第四章：规模驱使机器学习前进。
完整手稿翻译详见：https://github.com/xiaqunfeng/machine-learning-yearning

Chapter 3、Prerequisites and Notation

预备知识和注释
​ 如果你有学习过机器学习课程，比如我在Coursera上的的机器学习MOOC，或者如果你有应用监督学习的经验，你也将能够理解这段文字。
​ 我假设你熟悉监督学习（supervised learning）：使用标记的训练样本（x，y）去学习一个从x映射到y的函数。 监督学习算法包括线性回归（linear regression），逻辑回归（logistic regression）和神经网络（neural networks）。 机器学习的形式有很多，但是现如今大部分机器学习的实用价值来自于监督学习。
​ 我将经常提到神经网络（也称为“deep learning”）。你只需要遵循本问对它是什么有一个基本的理解就可以了。
​ 如果您不熟悉这里提到的概念，请观看在Coursera上前三周 机器学习视频课程http://ml-class.org

这里写图片描述

Chapter 4、Scale drives machine learning progress

规模驱使机器学习前进

深度学习（神经网络）的许多想法已经存在几十年了。 为什么这些想法现在才火起来？
最近得以进步的最大驱动因素有两个：

  • 数据可用性。 人们现在在数字设备（笔记本电脑，移动设备）上花费更多的时间。这些活动产生大量的数据，我们可以使用这些数据来训练和反馈我们的学习算法。
  • 计算尺度。 我们几年前才开始能够训练足够大的神经网络，以利用我们现在拥有的巨大的数据集。

具体来说，即使你积累了更多的数据，通常传统学习算法（如逻辑回归）的性能表现“平稳”。这意味着它的学习曲线“平坦”，即使你给它更多的数据，算法也不会再有提升效果。

这里写图片描述

这就好像传统的算法不知道如何处理我们现在拥有的所有数据。
如果你在同一个监督学习任务上训练一个小的神经网络（NN），你可能会获得略好一点的性能：

这里写图片描述

这里，“小的神经网络”是指仅具有少量隐藏单位/层/参数的神经网络。 最后，如果你训练越来越大的神经网络，你可以获得更好的性能：[1]

这里写图片描述

因此，当你做到下面两点的时候你会获得最佳的性能（i）训练一个非常大的神经网络，使其在上面的绿色曲线上; （ii）有大量的数据。
许多其他细节，如神经网络架构也很重要，这里已经有很多创新。 但是现在提高算法性能的更可靠的方法之一仍然是（i）训练更大的网络和（ii）获得更多的数据。
如何完成（i）和（ii）的方法是极其复杂的。 这本书将详细讨论细节。 我们将从对传统学习算法和神经网络都有用的一般策略开始，并建立构建深度学习系统所需的最先进策略。

[1]这个图表展示了NN在小数据集下做得更好。这种效果不如NNs在大数据集中表现良好的效果一致。 在小数据系统中，取决于特征是如何手工设计的，传统算法可能做的很好，也可能做得并不好。 例如，如果你有20个训练样本，那么使用逻辑回归还是神经网络可能并不重要; 手工特征的选择将比算法的选择产生更大的影响。 但如果你有100万的样本，我更倾向于神经网络。

Summer_ZJU
关注
专栏目录
machine-learning-yearning
09-10
http://www.mlyearning.org/ ： machine-learning-yearning 需要资源私信，免费共享，csdn默认最小资源分为1分，无法修改了，很抱歉！！！
Machine Learning Yearning20~22
sunyao_123的博客
05-08 243
1.即使是所有的数据都是相同的分布，训练数据越多也不一定会得到想象的提高。那么我们啥时决定增加数据呢？机器学习里边误差主要来源两个方面：bias 和variance。明白这两个概念能够帮助我们，是否是通过增加数据还是和其它策略一起来提高网络的效果。 比如我们现在的算法，在训练集和测试集的error分别为15%，16%，我们想要达到5%的error。这时增加数据会使得更难达到我们需要的结果。这时，...
《Machine Learning Yearning》
海绵宝宝强无敌的博客
11-14 1230
《Machine Learning Yearning》概要
吴恩达-Machine Learning Yearning.pdf
09-15
吴恩达-Machine Learning Yearning.pdf 吴恩达的Machine Learning Yearning是一本关于机器学习策略的书籍，书中涵盖了机器学习的各个方面，从机器学习的策略到实现细节都有所涉及。下面是对书中所涉及的知识点的...
MachineLearning Yearning
09-06
Deep Learning.ai 公司的吴恩达博士进行撰写内容原创为吴恩达博士，学习小组成员只对文献内容进行翻译，对于翻译有误的部分，欢迎大家提出。欢迎大家一起努力学习、提高，共同进步！
《MACHINE LEARNING YEARNING》
09-27
吴恩达新书手稿完工
maching learning yearing
04-18
maching learning yearing andrew ng 2018最新力作 Machine Learning Yearning is a deeplearning.ai project
Machine_Learning_Yearning_V01
04-26
Table of Contents (draft) Why Machine Learning Strategy 4 ........................................................................................... How to use this book to help your team 6 ................................................................................ Prerequisites and Notation 7 .................................................................................................... Scale drives machine learning progress 8 ................................................................................ Your development and test sets 11 ............................................................................................ Your dev and test sets should come from the same distribution 13 ........................................ How large do the dev/test sets need to be? 15 .......................................................................... Establish a single-number evaluation metric for your team to optimize 16 ........................... Optimizing and satisficing metrics 18 ..................................................................................... Having a dev set and metric speeds up iterations 20 ............................................................... When to change dev/test sets and metrics 21 .......................................................................... Takeaways: Setting up development and test sets 23 .............................................................. Build your first system quickly, then iterate 25 ........................................................................ Error analysis: Look at dev set examples to evaluate ideas 26 ................................................ Evaluate multiple ideas in parallel during error analysis 28 ................................................... If you have a large dev set, split it into two subsets, only one of which you look at 30 ........... How big should the Eyeball and Blackbox dev sets be? 32 ...................................................... Takeaways: Basic error analysis 34 .......................................................................................... Bias and Variance: The two big sources of error 36 ................................................................. Examples of Bias and Variance 38 ............................................................................................ Comparing to the optimal error rate 39 ................................................................................... Addressing Bias and Variance 41 .............................................................................................. Bias vs. Variance tradeoff 42 ..................................................................................................... Techniques for reducing avoidable bias 43 .............................................................................. Techniques for reducing Variance 44 ....................................................................................... Error analysis on the training set 46 ........................................................................................ Diagnosing bias and variance: Learning curves 48 ................................................................. Plotting training error 50 .......................................................................................................... Interpreting learning curves: High bias 51 ............................................................................... Interpreting learning curves: Other cases 53 .......................................................................... Plotting learning curves 55 ....................................................................................................... Why we compare to human-level performance 58 .................................................................. How to define human-level performance 60 ........................................................................... Surpassing human-level performance 61 ................................................................................ Why train and test on different distributions 63 ...................................................................... Page!2 Machine Learning Yearning-Draft V0.5 Andrew NgWhether to use all your data 65 ................................................................................................ Whether to include inconsistent data 67 .................................................................................. Weighting data 68 .................................................................................................................... Generalizing from the training set to the dev set 69 ................................................................ Addressing Bias and Variance 71 ............................................................................................. Addressing data mismatch 72 ................................................................................................... Artificial data synthesis 73 ........................................................................................................ The Optimization Verification test 76 ...................................................................................... General form of Optimization Verification test 78 ................................................................... Reinforcement learning example 79 ......................................................................................... The rise of end-to-end learning 82 ........................................................................................... More end-to-end learning examples 84 .................................................................................. Pros and cons of end-to-end learning 86 ................................................................................ Learned sub-components 88 .................................................................................................... Directly learning rich outputs 89 .............................................................................................. Error Analysis by Parts 93 ....................................................................................................... Beyond supervised learning: What’s next? 94 ......................................................................... Building a superhero team - Get your teammates to read this 96 ........................................... Big picture 98 ............................................................................................................................ Credits 99
Machine_Learning_Yearning_V0.5_01.pdf
12-10
Andrew Ng的新书《Machine Learning Yearning》01部分
Machine_Learning_Yearning
08-24
Machine_Learning_Yearning
Machine Learning Yearning完整版
09-30
吴恩达的书，很全。合并而成，希望对大家有帮助。。。
Machine Learning Yearning1~14
sunyao_123的博客
05-08 336
1.测试数据尽量和要应用的数据分布吻合，这可能和训练数据分布不吻合；尽可能的使得dev 和 test sets的分布相同。 2.如果我们的算法要应用到特定的领域，dev和test sets的分布最好是相同的。 3. dev和test sets的大小要基于模型来定。通过dev和test sets评估不同模型的差异，如果模型差异越小，所需数据量越大。 4.确定一个单值的评价标准（比如accura...
Machine Learning Yearning(5、6、7)
夏天的风
03-12 917
第5、6、7三章，主要讲开发集和测试集，包括选型、大小、比例等。 完整手稿翻译详见：https://github.com/xiaqunfeng/machine-learning-yearning Setting up development and test sets Chapter 5Your development and test sets Chapter 6Your dev and
Machine Learning Yearning28~30
sunyao_123的博客
05-17 620
1.通过画学习曲线来观察。学习曲线：横坐标是不同数量的训练样本，纵坐标是dev set的error。随着训练样本的增加，error降低。一般来说，我们有一个期望误差率，希望网络能够达到。比如：人类的误差率；直觉上任务应该达到的误差率；长期目标需要达到的误差率。 通过观察上述曲线，可以推断还需要多少训练样本才能达到期望误差率。但是如果误差曲线最后是平的： 那么，通过增加训练数据是不能够达...
Machine Learning Yearning介绍
AI小白入门的博客
06-01 5228
Machine Learning Yearning是NG的新书，不过这本书的重点不在于教授ML算法，而在于教你如何使ML算法发挥作用。 很多AI课程会给教你制造一个锤子; 这本书教你如何使用锤子。 如果你渴望成为AI的技术领导者并想学习如何为你的团队设定方向，这本书将会有所帮助。 官网地址：http://www.mlyearning.org/ github上现在可以看到：https://git...
读书笔记1|深度学习入门：Machine Learning Yearning
最新发布
qq_40985985的博客
10-09 408
同事推荐的深度学习入门书，花了俩天加班读完收货还蛮多的。嗯就是站在一个高度上，不突然一下子把自己扎进去。先整体了解思想，以思考如何解决问题的方式，先理清思路。这是这本书给我的感受。
深度学习精要：吴恩达Machine Learning Yearning实战指南
"Machine Learning Yearning 是一本由吴恩达（Andrew Ng）编写的关于深度学习实践的书籍，它总结了吴老师在机器学习领域多年的经验，尤其针对深度学习的实战技巧提供了宝贵的指导。这本书旨在帮助读者更好地理解和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值