2018年05月_王小小小草

原创【改善神经网络】Lesson 3--超参数调试、batch正则化与程序框架

课程来源：吴恩达深度学习课程《改善神经网络》笔记整理：王小草时间：2018年5月29日1.超参数调试1.1 超参数至此，神经网络基本的超参数已经遇到了这些（按重要性分类）：第一重要： learning rate 第二重要： momentum中的β learning rate decay mini-batch size 第三重要： layers’...

2018-05-29 09:15:06 952

原创【改善神经网络】Lesson 2--优化算法

课程来源：吴恩达深度学习课程《改善神经网络》笔记整理：王小草时间：2018年5月26日本文要讲的是优化算法，使你的神经网络运行得更快。1.mini-batch梯度下降1.1 如何得到mini-batch可将所有样本的特征x表示成一个大矩阵，维数为（n, m),其中n为特征的维数，m为样本的总数目： X = [x(1), x(2), ...,x(m)]可...

2018-05-29 09:13:19 1106

原创【改善神经网络】Lesson 1--深度学习的实用层面

1.训练集、开发集与测试集训练监督模型需要数据集，有了数据集之后，需要先拆分数据集。即将数据集拆分成3类：（1）训练集：用于训练模型（2）开发集：用于寻找最优的超参数（3）测试集：用于测试与评估模型拆分的比例：对于小数据集：一般采用60%， 20%，20%这样的比例对于大数据集：比如100万样本，则1万条做开发集，1万跳做测试集足矣，因此比例可以是99.5%， ...

2018-05-29 09:10:56 697

原创【神经网络基础】第三课--深层神经网络

课程来源：吴恩达深度学习课程《神经网络基础》笔记整理：王小草时间：2018年5月16日1.深层神经网络逻辑回归是一个very shallow network: 只有一个隐藏层的网络是一个2 layer neural netowork,也称shallow neural network: 隐藏层>=2的网络称为deep neural network: ...

2018-05-16 09:04:07 503

原创【神经网络基础】第二课--浅层神经网络

课程来源：吴恩达深度学习课程《神经网络基础》笔记整理：王小草时间：2018年5月15日1.神经网络概览回顾逻辑回归的结构：圆圈节点内的计算如下，先计算线性z，再过一个sigmoid函数得到a，然后计算损失函数，进行梯度下降法求最优参数。推广到神经网络,每个圆圈节点都代表以上z，a两步计算（第一层用1表示，第而层用2表示）相当于如下计算过程： ...

2018-05-15 08:15:55 1617

原创【神经网络基础】第一课--逻辑回归

课程来源：吴恩达深度学习课程《神经网络基础》笔记整理：王小草时间：2018年5月15日1.什么是二分类1.1 二分类��给定一张图片，要识别出这张图片，“是猫”或“不是猫“的问题就是二分类问题。输入以x表示，输出以y表示。如何表示图片：计算机是如何计算图片的呢？一张图片实际上由一堆像素构成，一堆像素可以由矩阵表示出来。如果你输入的是一张64*64...

2018-05-15 08:14:59 1161 1

欢迎关注王小草的微信公众号，推送大数据，机器学习，深度学习，NLP等原创文章，欢迎交流与指正：这一课将学习sequence2sequence model，广泛地应用于机器翻译等领域1.基础模型basic model以翻译为例，将如下一句法文翻译成英文，输入是法文的每个单词，输出是英文的每个单词，分别用x&amp;amp;lt;t&amp;amp;gt;,y&amp;amp;lt;t&amp;amp;gt;表示：如何构建

2018-05-09 08:33:45 3093 4

原创【序列模型】第二课--自然语言处理与词嵌入

今日感想：窗外是瓢泼大雨。来到杭州后，最大的变化就是说话少了，白天上班部门里的IT男神们只顾打代码如飞，闭口不语；晚上回到出租屋，也只剩一个人的独处。要么看书看论文，要么写写博客和日志，要么弹弹古筝哼个跑调的小曲，或是去舞蹈室跳1小时舞，满背大汗得走过太寂静的紫荆文路，把所有的期待藏进独自妖艳的夜色。然而，又总是满心欢喜，欢喜这日复一日枯燥与无味背后，沉默着的，成长与坚持。欢迎关注王小草的...

2018-05-05 17:45:58 5812 1

原创【序列模型】第一课--循环序列模型

欢迎关注王小草的微信公众号，推送大数据，机器学习，深度学习，NLP等原创文章，欢迎交流与指正：课程来源：吴恩达深度学习课程《序列模型》笔记整理：王小草时间：2018年4月28日吴恩达的课程一直是我深爱喜绝的，深入浅出，10分钟可以讲完一个可能要一个小时或者半天理解的知识点，并且讲得老少都懂，男女皆晓。因此这次早起晚睡抽出时间来整理他课程的笔记，便于之后回顾与复习。本...

2018-05-04 15:17:39 3453

【人工智能】王小草的博客