![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 92
du00
站在码头看风景
展开
-
5. Sequence Models - Wee 3 - Sequence models & Attention mechanism
本周课程主要介绍了机器翻译中的一些细节,包括如何将Language Model与Decoder结合,如何搜索可能的最优解。然后介绍了大名鼎鼎的Attention Mechanism。到Attention Mechanism的时候就已经很麻烦了,还是尽量以理解机制为主。1. Various sequence to sequence architectures在深度学习中一些比较有意思的应用...原创 2019-12-08 21:34:48 · 178 阅读 · 0 评论 -
Deep Learning Specialization 5: Sequence Models - Week 2 - Word Embeddings
本周课程讲的是词向量的生成及简单应用,正如老师所说在大量学者地不断研究探索下,词向量的生成简单到像魔法。1.Introduction to word embeddings1.1 Word Representation词的表示探讨的是如何从one-hot编码到向量化的过程,完成这一转换之后还能带来一些其它好处。1-hot representation -> Featurized ...原创 2019-11-30 21:39:13 · 150 阅读 · 0 评论 -
Deep Learning Specialization 5: Sequence Models - Week 1 - Recurrent Neural Networks
这周的内容还是比较多的,得反复看很多遍才能领会,尤其是在吃瓜子不吃瓜子就打瞌睡的情况下。为什么要用RNN1?1. 序列数据及问题示例从输入与输出数量不同可以分为:many to many长度相同:命名实体识别长度不同:语音识别/机器翻译many to one:情感分析/视频动作识别one to many:音乐合成2. 符号x<t>x^{<t&...原创 2019-11-17 22:34:55 · 115 阅读 · 0 评论 -
Deep Learning Specialization 4: Convolutional Neural Networks - Week3 - Object Detection
Object Detection深度学习的繁荣离不开大量的研究人员开发了更多更高效的算法,这一周的课程学几个小时就为了能讲清楚一篇YOLO在干什么。用的组件太多,技术就变成魔法了。1. 问题定义Image classification: 判断图像中有某个物体Object Localization - Classification with localization: 判断图像在图片中,...原创 2019-11-03 13:58:56 · 159 阅读 · 0 评论 -
Deep Learning Specialization 4: Convolutional Neural Networks - Week2
1. Case studies1.1 Classic Networks1LetNet-5/AlexNet 比较久远,其中一些方法现在可能不用了,略过。VGG-16 值得关注,因为它将网络结构变得简单——层数更多,但是组合单一。统一的参数:CONV = 3×33 \times 33×3 filter, s = 1, padding = “same”MAX-POOL = 2×22 \...原创 2019-10-31 08:51:57 · 136 阅读 · 0 评论 -
Deep Learning Specialization 4: Convolutional Neural Networks - Week 1
温故而知新,笔记拖了一个多月了。如果没有图像处理经验,那么在理解卷积神经网络的起点上会有一些麻烦,使用算子做边缘检测并不是在神经网络应用在图像上才有的,卷积、填充也不是。只要多看几遍视频,理解也不是什么难事。1. 卷积神经网络的起点Edge Detection - Filter/Kernel:深度网络之前特殊设计的filter可以用于检测比如竖直/水平方向的边界(比如Sobel算子),深...原创 2019-10-27 16:29:49 · 219 阅读 · 0 评论 -
Deep Learning Specialization 3: Structuring Machine Learning Projects - Note2
本周的内容比较多,一些概念还是很重要的,需要好好去理解。Structuring Maching Learning Projects - Week 21. Error Analysis核心问题:怎样判断一个改善效果的方向是否值得尝试的?更核心的问题:你能坚持人工错误分析吗?1.1 坚持使用错误分析表格在Dev Set验证集中做错误采样分析,比如下面是一个自动驾驶图像识别的错误分析:...原创 2019-07-28 13:14:01 · 118 阅读 · 0 评论 -
Deep Learning Specialization 3: Structuring Machine Learning Projects - Note 1
Structuring Machine Learning Projects - Note 1优化的方向很多,但是选定更好的目标以及选一些对影响更大的方法,可以更有效提升效果。1. Setting up you Goal1.1 单一原则Orthogonalization 正交化:一次只调整一个变量Single number evaluation metric: 只设一个优化指标,别想着同时...原创 2019-07-27 21:15:05 · 105 阅读 · 0 评论 -
Deep Learning Specialization 2: Hyperparameter tuning, Regularization and Optimization - 2 加速训练
Deep Learning Specialization 2: Hyperparameter tuning, Regularization and Optimization - Note 2第二周的内容讲的都是如何加速训练1. Mini-batch Gradient Descent重要:新符号!吴恩达设计了一套比较好的符号系统,对于表达神经网络非常有帮助,符号一定要掌握!X{t}...原创 2019-07-07 15:13:58 · 130 阅读 · 0 评论 -
Deep Learning Specialization 2: Hyperparameter tuning, Regularization and Optimization - Note 1
Deep Learning Specialization 2: Hyperparameter tuning, Regularization and Optimization - Note 1笔记主要是将课程视频和作业的内容分类简单整合,绝非创新。1. Setting up your Machine Learning ApplicationTrain/Dev/Test Sets: 数据集...原创 2019-06-30 14:34:22 · 163 阅读 · 0 评论 -
Deep Learning Specialization: Neural Networks and Deep Learning - 基本套路
Deep Learning Specialization: Neural Networks and Deep Learning - 基本套路1. Forward Propagation (前向算损失)Z[l]Z^{[l]}Z[l]: Linear functionZ[l]=W[l]A[l−1]+b[l]Z^{[l]} = W^{[l]} A^{[l-1]} + b^{[l]}Z[l]=W...原创 2019-06-30 14:12:52 · 128 阅读 · 0 评论 -
Deep Learning Specialization: Neural Networks and Deep Learning - Python basics with Numpy
这里写自定义目录标题学习笔记:Deep Learning Specialization: Neural Networks and Deep Learning - Python basics with NumpySigmoid函数 $1/(1 + e^{-x})$ReshapeBroadcastingVectorization学习笔记:Deep Learning Specialization: N...原创 2019-06-30 14:05:18 · 147 阅读 · 0 评论 -
Deep Learning Specialization 2: Hyperparameter tuning, Regularization and Optimization - Note 3
2. Hyperparameter tuning, Batch Normalization and Programming Frameworks - Note 31. Hyperparameter tuning待调参数老师认为的重要性如下(*越多越重要):α\alphaα: 学习速率 ***betabetabeta (如果不使用adam): momentumβ1,β2,...原创 2019-07-07 19:23:56 · 155 阅读 · 0 评论 -
Duckling: 用Scala重写Haskell代码——一点小心得
Duckling: Haskell =&gt; ScalaDuckling1是Facebook开源的结构化抽取工具,Language, engine, and tooling for expressing, testing, and evaluat ing composable language rules on input strings.比如,可以完成以下解析:"the first......原创 2019-03-16 00:00:09 · 1239 阅读 · 0 评论 -
《代码的未来》笔记(1)
工作着工作着就忘了去学习,读点书还是有好处的,至少可以提醒自己其实是很无知。另外,计算机的世界有太多太多的东西需要,如果不关注其实就是对自己的忽视。抠门的人还知道雁过拔毛,读个书不记点笔记岂不是很可惜?还是得抠一点。 以下均为摘录,绝非原创。编程的本质是思考 “人们到底想要什么?想要这些东西的本质又是什么?要实现这个目的严格来说需要怎样的操作步骤?”思考并解决这些问题,才是软件开发中最重原创 2016-02-29 00:03:00 · 412 阅读 · 0 评论 -
《代码的未来》笔记(2)
就我个人而言,最有收获的就应该就是关于GC的这一部分了。作者列举了常见的几种GC技术,而就在他介绍的同时我也基本上懂那么一点Java的垃圾回收机制是怎么一回事了。原创 2016-03-21 00:02:07 · 279 阅读 · 0 评论