![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
吴恩达_深度学习
程序猿的探索之路
走好人生中的每一步路!
展开
-
RNN trigger word detection
原创 2021-04-20 18:32:20 · 134 阅读 · 0 评论 -
Speech recognition question 使用 attention model
原创 2021-04-20 18:25:45 · 111 阅读 · 0 评论 -
RNN attention model intution
注:attention model intution 用到了 bidirection RNN ,并减少了输出词对于输入词关注的长度,以提升计算的效果。注: ... 先不生成 , 往回走的时候,a-left a-right 都有了,再从后到左逐一生成。注:第一个单词。注:第二个单词。...原创 2021-04-20 18:15:45 · 203 阅读 · 0 评论 -
Bleu score(Bilingual Evaluation Understudy) 双语评价替补评分
bilingual美:[baɪ'lɪŋɡwəl] 英:[baɪ'lɪŋɡwəl]adj.会说两种语言的;用两种语言(写)的 n.能讲两国话的人evaluation美:[ɪ.vælju'eɪʃn] 英:[ɪ.vælju'eɪʃ(ə)n]n.评价;【数】赋值 网络评估;估价;评监understudy美:['ʌndər.stʌdi] 英:['ʌndə(r).stʌdi]n.候补演员;替角 v.排练当候补演员;做替角 网络预备演员;替角儿;替身...原创 2021-04-19 20:37:29 · 417 阅读 · 0 评论 -
RNN error analysis on beam search
原创 2021-04-19 20:18:15 · 103 阅读 · 0 评论 -
RNN select most likely sentence greedy search (no soft max) beam search (soft max)
注意:增加log 提升相似度乘积,解决了在近似度求解的过程中精度丢失严重的问题。进一步改变区间,提升计算的效果。原创 2021-04-19 17:24:27 · 97 阅读 · 0 评论 -
RNN word representation / featurized representation
原创 2021-04-18 17:29:27 · 120 阅读 · 0 评论 -
RNN GRU (简洁) LSTM(灵活) BRNN(双向) Deep RNN(hidden layers)
RNN:GRU:LSTM:BRNN:需要一个完整的sentence,完整的句子,不能处理实时句子。原创 2021-04-18 16:42:31 · 230 阅读 · 0 评论 -
RNN / language modelling and sequence generation
原创 2021-04-18 10:48:19 · 78 阅读 · 0 评论 -
rnn的类型
原创 2021-04-13 21:31:33 · 220 阅读 · 0 评论 -
RNN的forward propagation and backpropagation
原创 2021-04-13 21:26:36 · 212 阅读 · 0 评论 -
RNN 原理
传统的神经网络长度方面不适用(传统的都是等长的),传统的神经网络不能联系上下文。所以处理sequence data 需要新的模型 RNN。原创 2021-04-13 17:49:08 · 196 阅读 · 0 评论 -
几种经典的CNN模型 LeNet-5、AlexNet、VGG、Residual network、network in network and 1x1 convolution、Inception net
1. LeNet-52. AlexNet3. VGG原创 2021-04-12 11:22:50 · 530 阅读 · 0 评论 -
卷积神经网络_吴恩达讲解有误的地方
错误:疑问:原创 2021-04-12 10:10:19 · 190 阅读 · 2 评论 -
简单卷积网络例子
原创 2021-04-12 09:26:13 · 213 阅读 · 0 评论 -
单层卷积网络
eg:内容:原创 2021-04-11 15:55:36 · 127 阅读 · 0 评论 -
strided convolution 跳出格 \padding \without padding 计算公式
padding:原创 2021-04-11 13:29:18 · 163 阅读 · 0 评论 -
exponentially weighted averages 指数加权平均值
原创 2021-04-09 12:33:38 · 224 阅读 · 0 评论 -
Gradient checking 细节
原创 2021-04-09 12:29:44 · 91 阅读 · 0 评论 -
模型训练中做gradient checking
原创 2021-04-09 12:27:59 · 165 阅读 · 0 评论 -
gradient checking
原创 2021-04-09 12:23:37 · 2120 阅读 · 0 评论 -
避免梯度爆炸——模型参数初始化
原创 2021-04-09 12:20:27 · 186 阅读 · 0 评论 -
梯度消失和梯度爆炸
原创 2021-04-09 12:16:49 · 74 阅读 · 0 评论 -
标准化输入值的方法
原创 2021-04-09 12:13:10 · 237 阅读 · 0 评论 -
降低 high variance 的其它方法
原创 2021-04-09 12:11:37 · 155 阅读 · 0 评论 -
dropout 解释
原创 2021-04-09 11:50:11 · 111 阅读 · 0 评论 -
dropout 抛弃神经元的正则化
原创 2021-04-09 11:40:30 · 150 阅读 · 0 评论 -
超参数的重要性排名
红>橙>紫 没圈的一般默认不变原创 2021-04-08 21:24:28 · 192 阅读 · 0 评论 -
突破Bias-Variance困境
原创 2021-04-08 15:50:34 · 79 阅读 · 0 评论 -
bias 与 variance
原创 2021-04-08 15:45:42 · 86 阅读 · 0 评论 -
吴恩达——成本函数公式
对数函数的图像和成本函数:原创 2021-03-30 20:19:31 · 1938 阅读 · 0 评论 -
【目录】【中文】【deplearning.ai】【吴恩达课后作业目录】
https://blog.csdn.net/u013733326/article/details/79827273?spm=1001.2014.3001.5502转载 2021-03-15 17:41:19 · 165 阅读 · 0 评论 -
吴恩达课后习题——本人不理解的汇总
1 不知道说的是什么意思,等我回了再来解答Logistic回归的权重w应该随机初始化,而不是全零,因为如果初始化为全零,那么逻辑回归将无法学习到有用的决策边界,因为它将无法“破坏对称性”,是正确的吗?【 】True 【★】FalseLogistic Regression doesn’t have a hidden layer. If you initialize the weights to zeros, the first example x fed in the logistic reg.原创 2020-12-08 17:23:14 · 460 阅读 · 2 评论 -
吴恩达视频观后感重大发现系列12.7 dz[1]公式证明
先上图,我们首先要知道,反向传播是为了改变w b 等参数,进而减小Loss和Cost,改变的原理是利用梯度(Cost函数的斜率),也称降低梯度下降法。我们在求某些矩阵的导数的时候,目的是为了利用已有的条件,在程序中实现。所以公式很多是凑出来的,符合1:等式成立;2:成员已知,该公式就是一个可用公式。在这个基础上,dz1=dL/dz1=dL/da2 * da2/dz2 * dz2/da1 * da1/dz1=dL/dz2 * dz2/da1 * da1/dz1我们可以看到,故d..原创 2020-12-07 18:18:27 · 699 阅读 · 8 评论 -
吴恩达视频观后感重大发现系列12.7 浅层神经网络反向传播矩阵维度问题详解——为什么a要转置,x要转置
先说一句,我可是饿着肚子在这思考问题,希望大家给点鼓励,点赞,收藏,转发。我可真是个人才奥。上图:这就是吴恩达浅层神经网络的反向传播过程,其中这些矩阵的维度,想通了以后,非常好理解:从右到左依次:a2 (n2,样本数),维度来源于W2的行数,a1的列数。z2 和 a2 一样W2 (n2,n1)a1 (n1,样本数),维度来源于W1的行数,x的列数z1 和 a1 一样W1 (n1,n0)x (n0,样本数)可以看到W和样本数无关,至于神经元个数有...原创 2020-12-07 13:08:16 · 1010 阅读 · 7 评论 -
吴恩达视频观后感四(浅层神经网络和无隐藏层的神经网络中w定义方式的改变)
1 无隐藏层的神经网络二分分类中,吴老师讲的是logistic回归的一个例子,课后作业识别猫也是一个入门程序,其中将w定义成了一个列向量,,经过神经元的操作是,因为传播不改变w和dw的维度,避免程序出现bug,还增加了断言,其中w是一个列向量,为了和X做矩阵乘法,需要将其转置成行向量。2 浅层神经网络在浅层神经网络中,w定义的时候皆为行向量,没有了的这个过程。...原创 2020-12-07 11:22:27 · 332 阅读 · 2 评论 -
吴恩达视频观后感二(浅层神经网络W的维度在隐藏层和输出层的维度不一样)
原因就是:此处W和小w不是一个概念,w是每一个神经元中附带的用于正向传播过程中的参数,W是同一层神经元的向量化集合。w是行向量,W是一个矩阵,W的列数=w列数,W的行数是同一层中神经元的个数。...原创 2020-12-06 21:53:28 · 382 阅读 · 0 评论 -
吴恩达视频——关于浅层神经网络中tanh(x)与ReLU函数求导问题
https://blog.csdn.net/qq_35200479/article/details/84502844函数tanh(x)图像:原创 2020-12-06 16:34:18 · 839 阅读 · 0 评论 -
三种常用的激活函数 sigmoid tanh relu
SigmoidtanhReLU原创 2020-12-04 18:23:44 · 564 阅读 · 0 评论 -
吴恩达_神经网络与深度学习_浅层神经网络
神经网络概览神经网络表示计算神经网络的输出多个例子中的向量化向量化实现的解释激活函数原创 2020-12-04 15:57:15 · 174 阅读 · 0 评论