读书笔记1|深度学习入门：Machine Learning Yearning

已于 2022-10-09 20:05:24 修改
阅读量389 收藏
点赞数 1
分类专栏： 读书笔记 深度学习 Python OpenCV 文章标签： 机器学习 深度学习 人工智能 DeepLearning python
于 2022-10-09 20:01:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40985985/article/details/126491833
版权

Machine Learning Yearning中文版

有一段时间有点摸不着头脑，因为是自学python，深度学习，分类太多，人脸识别，对象检测，对象追踪，图像处理，语义分割等。有点眼花缭乱，太多细节。
和同事聊推荐的这本书，花了俩天加班读完的，收货还蛮多的。嗯就是站在一个高度上，不突然一下子把自己扎进去。先整体了解思想，以思考如何解决问题的方式，先理清思路，在实践同时也要及时调整方向。这是这本书给我的感受。

machine learning 机器学习
neural network 神经网络
supervised learning 监督学习(即使用labeled的数据集（x,y）来学习从x映射到y的函数)。主要包括回归（linear regression线性回归，logistics regression逻辑回归/对数几率回归，dicision tree决策树）和神经网络（neural network）；
unsupervised learning 非监督学习（聚类，降维，推荐系统clustering, dimensionality reduction, recommender systems）
二分类（binary classification）

训练集 training set
开发集 development set 也称为留出交叉验证集（hold-out cross validation set）
测试集 test set
泛化 generalize
过拟合 overfit
基准测试 benchmark

开发集/训练集 70%/30% 并非越大越好 10000个样本左右
开发集——————帮助快速评估算法性能
选择开发集和测试集以反映你在将来想要正确处理的数据。

单值评估指标 single-number evaluation metric

查准率 Precision 精度
查全率 Recall 召回率
F1 Score 优化过的 精度+召回率取平均值 2/（（1/precision）+（1/recall））
取平均值或者加权平均值是将多个指标合并为一个指标的常用办法之一。

准确率 accuracy
运行时间 running time
尝试先框出一些可接受的阈值，然后根据指标去选出最优！

false positive rate假正例率 用户没有说出唤醒词系统却响应了
false negative rate假反例率 用户说出唤醒词系统却未响应 最小化假反例率

训练集/开发集/测试集 + 度量指标 + idea — code — experiment 循环找到最优的方法；

  1. 你需要处理的实际数据的分布和开发集/测试集数据的分布情况不同。
  2. 算法在开发集上过拟合了。
  3. 该指标不是项目应当优化的目标。

误差分析 Error Analysis
labeled
mislabeled

偏差 bias 在训练集上的错误率
方差 variance 在开发/测试集上的错误率

训练错误率 1%
开发错误率 11% 高方差——过拟合overfitting

训练错误率 15%
开发错误率 16% 高偏差——欠拟合underfitting

训练错误率 15%
开发错误率 30% 高偏差/高方差——同时过拟合和欠拟合

训练错误率 0.5%
开发错误率 1% 低偏差/低方差——完美！分类器效果很好。

最优错误率（不可避免偏差）
可避免偏差： 训练错误率和最优误差率之间的差值
方差： 开发错误和训练错误之间的偏差

偏差 = 最佳误差率（不可避免误差）+可避免的偏差

最优错误率也称为贝叶斯错误率Bayes error rate

较高的可避免偏差：添加层/神经元数量来增加神经网络的大小。
高方差：增加训练集的数据量
加大模型规模通常可以减少偏差，但也可以增加过拟合风险（精心设计的正则化方法可避免过拟合）

增加神经网络的规模大小，并调整正则化方法去减少偏差，而不会明显增加方差；
增加训练数据，也可以在不影响偏差的情况下减少方差；

EyeBall开发集 Ear开发集 BlackBox开发集

L2正则化 dropout技术

优化验证测试（Optimization Verification test）
情感分类（sentiment classification）
解析器 parser
情感分类器（sentiment classifier）

端到端的例子：语音识别系统
直接从输入~~到输出，由神经网络进行学习
不一定要引入先验的“人工设计”部分，小数据量引入有好处，大数据量时引入过多“人工设计”部分可能会限制算法的性能。

暹罗猫检测可分俩步：图片–猫咪检测器–猫咪种类分类器–标签0/1
自动驾驶：检测其他车辆；检测行人；检测车道标记，规划路径，操纵方向，拆分成每一个步骤都是相对简单的功能，而不是纯粹端到端的方法，只需要从少量的数据中学习更容易实现。

场景：scenario

组件误差分析告诉我们：哪些组件的性能是最值得尽力去改进的。
在这里插入图片描述

参考

  • https://github.com/deeplearning-ai/machine-learning-yearning-cn
  • Github：https://github.com/deeplearning-ai/machine-learning-yearning-cn
  • 在线阅读：https://deeplearning-ai.github.io/machine-learning-yearning-cn/docs/home/
  • 中文版：https://github.com/deeplearning-ai/machine-learning-yearning-cn/releases/download/v0.5.0/MLY-zh-cn.pdf
程序媛一枚~
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Machine Learning Yearning
10-01
Machine learning is the foundation of countless important applications, including web search, email anti-spam, speech recognition, product recommendations, and more. I assume that you or your team is working on a machine learning application, and that you want to make rapid progress. This book will help you do so.
machine-learning-yearning
09-10
http://www.mlyearning.org/ ： machine-learning-yearning 需要资源私信，免费共享，csdn默认最小资源分为1分，无法修改了，很抱歉！！！
Machine Learning Yearning20~22
sunyao_123的博客
05-08 230
1.即使是所有的数据都是相同的分布，训练数据越多也不一定会得到想象的提高。那么我们啥时决定增加数据呢？机器学习里边误差主要来源两个方面：bias 和variance。明白这两个概念能够帮助我们，是否是通过增加数据还是和其它策略一起来提高网络的效果。 比如我们现在的算法，在训练集和测试集的error分别为15%，16%，我们想要达到5%的error。这时增加数据会使得更难达到我们需要的结果。这时，...
《Machine Learning Yearning》
海绵宝宝强无敌的博客
11-14 1193
《Machine Learning Yearning》概要
吴恩达：Machine Learning Yearning
05-12
Machine learning is the foundation of countless important applications, including web search, email anti-spam, speech recognition, product recommendations, and more. I assume that you or your team is ...
MachineLearning Yearning
09-06
Deep Learning.ai 公司的吴恩达博士进行撰写内容原创为吴恩达博士，学习小组成员只对文献内容进行翻译，对于翻译有误的部分，欢迎大家提出。欢迎大家一起努力学习、提高，共同进步！
Machine Learning Yearning (Andrew Ng)
12-17
吴恩达（Andrew Ng）在...涵盖了吴老师纵横深度学习10多年的经验，是掌握深度学习不可多得的入门法宝。无论是网络选择，初始条件选择，参数调节，还是预处理，吴老师都给出了经验性指导。祝大家从此都能年薪破百万！
《MACHINE LEARNING YEARNING》
09-27
吴恩达新书手稿完工
Machine Learning Yearning(3、4)
夏天的风
03-08 871
NG的机器学习教程，第三章：预备知识和注释；第四章：规模驱使机器学习前进。 完整手稿翻译详见：https://github.com/xiaqunfeng/machine-learning-yearning Chapter 3Prerequisites and Notation Chapter 4Scale drives machine learning progress Ch
Machine_Learning_Yearning_V01
04-26
Table of Contents (draft) Why Machine Learning Strategy 4 ........................................................................................... How to use this book to help your team 6 ................................................................................ Prerequisites and Notation 7 .................................................................................................... Scale drives machine learning progress 8 ................................................................................ Your development and test sets 11 ............................................................................................ Your dev and test sets should come from the same distribution 13 ........................................ How large do the dev/test sets need to be? 15 .......................................................................... Establish a single-number evaluation metric for your team to optimize 16 ........................... Optimizing and satisficing metrics 18 ..................................................................................... Having a dev set and metric speeds up iterations 20 ............................................................... When to change dev/test sets and metrics 21 .......................................................................... Takeaways: Setting up development and test sets 23 .............................................................. Build your first system quickly, then iterate 25 ........................................................................ Error analysis: Look at dev set examples to evaluate ideas 26 ................................................ Evaluate multiple ideas in parallel during error analysis 28 ................................................... If you have a large dev set, split it into two subsets, only one of which you look at 30 ........... How big should the Eyeball and Blackbox dev sets be? 32 ...................................................... Takeaways: Basic error analysis 34 .......................................................................................... Bias and Variance: The two big sources of error 36 ................................................................. Examples of Bias and Variance 38 ............................................................................................ Comparing to the optimal error rate 39 ................................................................................... Addressing Bias and Variance 41 .............................................................................................. Bias vs. Variance tradeoff 42 ..................................................................................................... Techniques for reducing avoidable bias 43 .............................................................................. Techniques for reducing Variance 44 ....................................................................................... Error analysis on the training set 46 ........................................................................................ Diagnosing bias and variance: Learning curves 48 ................................................................. Plotting training error 50 .......................................................................................................... Interpreting learning curves: High bias 51 ............................................................................... Interpreting learning curves: Other cases 53 .......................................................................... Plotting learning curves 55 ....................................................................................................... Why we compare to human-level performance 58 .................................................................. How to define human-level performance 60 ........................................................................... Surpassing human-level performance 61 ................................................................................ Why train and test on different distributions 63 ...................................................................... Page!2 Machine Learning Yearning-Draft V0.5 Andrew NgWhether to use all your data 65 ................................................................................................ Whether to include inconsistent data 67 .................................................................................. Weighting data 68 .................................................................................................................... Generalizing from the training set to the dev set 69 ................................................................ Addressing Bias and Variance 71 ............................................................................................. Addressing data mismatch 72 ................................................................................................... Artificial data synthesis 73 ........................................................................................................ The Optimization Verification test 76 ...................................................................................... General form of Optimization Verification test 78 ................................................................... Reinforcement learning example 79 ......................................................................................... The rise of end-to-end learning 82 ........................................................................................... More end-to-end learning examples 84 .................................................................................. Pros and cons of end-to-end learning 86 ................................................................................ Learned sub-components 88 .................................................................................................... Directly learning rich outputs 89 .............................................................................................. Error Analysis by Parts 93 ....................................................................................................... Beyond supervised learning: What’s next? 94 ......................................................................... Building a superhero team - Get your teammates to read this 96 ........................................... Big picture 98 ............................................................................................................................ Credits 99
maching learning yearing
04-18
maching learning yearing andrew ng 2018最新力作 Machine Learning Yearning is a deeplearning.ai project
Machine_Learning_Yearning_V0.5_01.pdf
12-10
Andrew Ng的新书《Machine Learning Yearning》01部分
Machine Learning Yearning1~14
sunyao_123的博客
05-08 326
1.测试数据尽量和要应用的数据分布吻合，这可能和训练数据分布不吻合；尽可能的使得dev 和 test sets的分布相同。 2.如果我们的算法要应用到特定的领域，dev和test sets的分布最好是相同的。 3. dev和test sets的大小要基于模型来定。通过dev和test sets评估不同模型的差异，如果模型差异越小，所需数据量越大。 4.确定一个单值的评价标准（比如accura...
Machine Learning Yearning(5、6、7)
夏天的风
03-12 898
第5、6、7三章，主要讲开发集和测试集，包括选型、大小、比例等。 完整手稿翻译详见：https://github.com/xiaqunfeng/machine-learning-yearning Setting up development and test sets Chapter 5Your development and test sets Chapter 6Your dev and
Machine Learning Yearning28~30
sunyao_123的博客
05-17 589
1.通过画学习曲线来观察。学习曲线：横坐标是不同数量的训练样本，纵坐标是dev set的error。随着训练样本的增加，error降低。一般来说，我们有一个期望误差率，希望网络能够达到。比如：人类的误差率；直觉上任务应该达到的误差率；长期目标需要达到的误差率。 通过观察上述曲线，可以推断还需要多少训练样本才能达到期望误差率。但是如果误差曲线最后是平的： 那么，通过增加训练数据是不能够达...
Machine Learning Yearning介绍
AI小白入门的博客
06-01 5181
Machine Learning Yearning是NG的新书，不过这本书的重点不在于教授ML算法，而在于教你如何使ML算法发挥作用。 很多AI课程会给教你制造一个锤子; 这本书教你如何使用锤子。 如果你渴望成为AI的技术领导者并想学习如何为你的团队设定方向，这本书将会有所帮助。 官网地址：http://www.mlyearning.org/ github上现在可以看到：https://git...
安装MySQL管理平台Yearning-小白教程
Rio的博客
11-01 1391
1: 安装Nginx服务器 可以看我之前的文章: https://blog.csdn.net/App_IOS/article/details/86419382 2: 安装MySQL服务器 可以看我之前的文章: https://blog.csdn.net/App_IOS/article/details/102801956 3:安装 Python3.6 cd /service/tools/ wget ...
吴恩达《Machine Learning Yearning》学习笔记
fengtaoO08的博客
11-22 808
本文链接 开始 推动深度学习（神经网路）近期发展的主要因素： a) 数据可用性（data availability)，如今广泛数字化行为产生海量数据可供训练。 b) 计算规模（computational scale），如今有能力训练出足够大的神经网络。 在小数据集情况下，算法的表现更多取决于人工特征选择工程，此时选择神经网络还是传统算法并非决定因素。在大数据集情况下，传统算法较难从数据量中获得更...
适合人工智能深度学习的参考文献
最新发布
06-08
8. "Machine Learning Yearning" by Andrew Ng 9. "Foundations of Deep Learning" by Ian Goodfellow and Yoshua Bengio 10. "An Introduction to Deep Learning" by Bhagath Reddy. 这些书籍都是深度学习领域的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序媛一枚~

您的鼓励是我创作的最大动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值