![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deeplearning.ai
KDLin
这个作者很懒,什么都没留下…
展开
-
【deeplearning.ai】Week 4 深层神经网络
Week 4 深层神经网络摘要本周的主要任务,python实现深层神经网络模型,其实原理没变,只是不能再使用硬编码,层次之间要迭代,需要更好的递推性和更好的结构。所以,原理早就学过了,本周的任务其实就是模型实现的结构设计本身。讨论了一些问题。为什么深度学习表示很好?深度学习与大脑类比好吗?深度神经网络结构设计我觉得这个具体还是看练习一的总结,其实就是向前传播和向后传播的完成。...原创 2019-07-18 10:23:21 · 152 阅读 · 0 评论 -
【deeplearing.ai】Week 15 Word Embeddings&文本情感分析
Word Embeddings&文本情感分析1 摘要本周围绕这Word Embeddings展开。讲了它是什么,有什么用;其次是提到了它相关的两种训练算法;最后应用到文本情感分类,词性相似推理,以及消除歧视问题上。Word EmbeddingsSentiment Classification我到现在还没理解为啥要叫这么不直观的名字,可能是我理解的不到位。本周的留下了很多问...原创 2019-09-01 16:22:22 · 183 阅读 · 0 评论 -
【deeplearning.ai】Week 14 RNN & LSTM
RNN & LSTM1 摘要从上次以来,确定方向,听讲座……发生了太多事,断断续续才看完了,老师说的还是没有错,脱离项目是不行的,学了忘没什么意义。本文主要就是RNN和LSTM,形式很复杂,但思想很简单。RNNLSTMGRU2 原理2.1 Intuition我们考虑一件事,如何描述、量化一句话中每个词之间的关系?我们来看CNN怎么做,CNN通过卷积来压缩每个特征...原创 2019-09-01 16:21:46 · 166 阅读 · 0 评论 -
【deeplearning.ai】week10 卷积神经网络入门
卷积神经网络摘要本篇主要是卷积神经网络,从DNN遇到的问题开始,简单介绍卷积神经网络的基本模型,然后深入分析两个重要过程:卷积和池化,以及分析卷积神经网络的优点,再就是卷积神经网络中卷积和池化的方向传导的理解和推导过程。CNN概述卷积、池化CNN反向传播推导文章目录卷积神经网络摘要DNN深度学习的问题CNN简介CNN原理卷积池化分析CNN反向传播的理解和推导卷积反向传播池化的反向传...原创 2019-07-27 15:30:35 · 163 阅读 · 0 评论 -
【deeplearing.ai】week13 神经风格迁移和人脸识别
神经风格迁移和人脸识别1 摘要主要讲两种CNN的应用,图片风格化处理和人脸识别。应用层面,对于神经网络的使用远比我想象的灵活,尤其是输出层、损失函数的设计。神经风格迁移使用的是现有VGG网络浅层构造的模型,人脸识别使用的是GoogleNets。都可以说是迁移学习,只不过,可惜的是没能做迁移学习输出层设计部分。Neural style transfer 神经风格迁移Face recog...原创 2019-08-04 12:24:42 · 115 阅读 · 0 评论 -
【deeplearning.ai】Week6 优化,Adam optimization
优化,Adam optimization1 摘要本周主要讲大量数据的优化方法。从方法来看:Min-batch,分批随机梯度下降Momentum,连续均值梯度下降Adam,min-batch(批量) + Momentum(均值) + RMSprop(标准化)从逻辑上来看:由于数据量太大,所以采用分批梯度下降,这就是min-batch。而分批梯度下降会带来震荡的问题,因为这事局部...原创 2019-07-22 10:59:12 · 174 阅读 · 0 评论 -
【deeplearning.ai】week11 残差神经网络
高级卷积神经网路1 摘要本文主要讲讲更加复杂的卷积神经网络,ResNets(残差神经网络)以及Inception(GoogleNets)。复杂的结构都是由一个个块组成的,学习每个块并不复杂。第二个内容是一些实践建议,比如迁移学习、拥抱开源、数据增广、人工设计特征、集成学习对比赛的改进。ResNetsGoogleNets、Inception、1 x 1 convolution迁移学习...原创 2019-07-30 20:17:24 · 127 阅读 · 0 评论 -
【deeplearning.ai】Week9 最佳实践二
实践二1 摘要本周仍然是构建模型过程中遇到问题的处理、分析方法。包括可以指明方向的错误分析,训练集与dev/test集分布不同的常态的处理,以及机器学习模型的基本结构。Error Analysis 错误分析,清洗标签数据集分布不同Transfer learning迁移学习、多任务学习end-to-end 端到端学习2 错误分析错误分析是指对dev/test集中,预测错误数...原创 2019-07-25 16:36:38 · 152 阅读 · 0 评论 -
【deeplearning.ai】Week 5 深度学习 正则化 & 初始化 & 标准化 & 对拍Debug
Week 5 正则化 & 初始化 & 标准化 & 对拍Debug1 摘要这一周主要是深度神经网络的很多配置设定问题,包括原因,解决思路和方法。深度神经网络感觉确实只能从宏观调控,可能也是运算量过大,这使得随机化的一些算法居然很有用,比如dropout,因为大量导致产生了整体调整效果。主要问题如下:调参思路正则化,解决过拟合问题,重点在于dropout算...原创 2019-07-19 22:26:23 · 157 阅读 · 0 评论 -
【deeplearning.ai】Week8 机器学习模型构建的最佳实践
实践摘要本周主要是在构建机器学习模型的过程中的处理问题的思考方式和构建整个项目内容的思考方式,如dev/test集,策略,算法调整。相对于实践理论,从整体上对项目进行设置和调整的思考方法。这一门课就是炼丹参考书,出问题来翻阅。正交思想(Orthogonalization)这是所有理论的基础,大致上就是那个点出问题就调哪个点的开关,尽可能不要影响到其他东西。即,让处理对象之间正交,这对于巨...原创 2019-07-24 16:49:16 · 123 阅读 · 0 评论 -
【deeplearning.ai】Week 3 浅层神经网络
Week 3 浅层神经网络摘要搭建浅层神经网络做平面点的分类,基本都已经做过,改成矩阵形式,主要还是对神经网络的推导以及一些问题的讨论。为什么不使用线性函数作为激活函数?为什么reLU有用?(未知)为什么要使用随机初始化?为什么初始化参数不能太大?神经网络推导神经网络的模型,基本原理见另外两篇笔记。基本结构是这样的。主要是讨论反向传播所求的梯度。下图是完整的公式(上标...原创 2019-07-17 08:43:50 · 104 阅读 · 0 评论 -
【deeplearning.ai】Week7调参优化理论与TensorFlow使用
调参优化理论与TensorFlow使用1 摘要调参优化理论接近尾声,这周讲得主要是调参在实践中的顺序,范围,然后比较重要的部分,Batch Normalization——对每层输出进行标准化的算法,以及多分类激活函数softmax。然后练习就是开始使用tensorflow,比想象的要容易上手,AN这门课的作业设计太过用心。2 调参in实践2.1 顺序通常而言,不同参数调参的重要性...原创 2019-07-23 17:36:28 · 200 阅读 · 0 评论 -
【deeplearning.ai】Week 1 & Week 2 深度学习入门
Week 1 & Week 2 深度学习入门摘要这两周内容比较简单,主要是通过逻辑回归来引入,使用python实现,熟悉课程环境等等。都很简单,但是python确实比起matlab麻烦点,主要是一些语言的设计不如matlab直观。我把coursera hub上面的资源扒下来,用vs跑,也是有些小问题。然后,比较重要的是逻辑回归的损失函数的设计原理。逻辑回归逻辑回归可以看作一个最简...原创 2019-07-16 10:05:42 · 117 阅读 · 0 评论 -
【deeplearing.ai】 Week 16 RNN进阶以及Attention模型
RNN进阶以及Attention模型1 摘要不管是CNN和RNN,模型都可以看作是Decode和Encode两个过程,这是一个统一的角度。其次,介绍了RNN中的搜索算法Beam Search方法,以及它的优化和分析。关于如何评定翻译好坏,怎么给翻译的好坏设计监督方式,介绍了Bleu Score的方法。最后,介绍了Attention模型。Decode-EncodeBeam Search...原创 2019-09-01 16:25:57 · 212 阅读 · 0 评论