DeeplearningAI
文章平均质量分 94
武科大许志伟
武汉科技大学计算机科学与技术学院青年老师
展开
-
[DeeplearningAI笔记]序列模型3.9-3.10语音辨识/CTC损失函数/触发字检测
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.9语音辨识 Speech recognition问题描述 对于音频片段(audio clip)x ,y生成文本(transcript),人听见的或者麦克风捕捉的都是空气中细微的气压变化,语音识别系统能够根据这种微弱的气压变化将音频转化为文本字符。 将空气中微弱的气压变化显示成频率图的形式,并...原创 2018-09-03 21:32:55 · 945 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.10-1.12LSTM/BRNN/DeepRNN
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me1.10长短期记忆网络(Long short term memory)LSTM Hochreiter S, Schmidhuber J. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8):1735-1780.门控循环神经网络单元...原创 2018-08-27 20:15:51 · 1204 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.2有条件的语言模型与贪心搜索的不可行性
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.2选择最可能的句子 Picking the most likely sentencecondition language model 有条件的语言模型 * 对于 语言模型 ,能够估计出这些单词是一个句子的可能性,也可以用其生成一个新的句子。 * 对于 机器翻译模型 使用绿色表示 编码...原创 2018-08-30 20:25:14 · 356 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.3-1.4循环神经网络原理与反向传播公式
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me1.3循环神经网络模型为什么不使用标准的神经网络假如将九个单词组成的序列作为输入,通过普通的神经网网络输出输出序列, 在不同的例子中输入数据和输出数据具有不同的长度,即每个数据不会有一样的长度 也许每个语句都有最大长度,能够通过Padding 的方式填充数据,但总体来说不是一个好的表达方式。...原创 2018-08-20 17:00:13 · 346 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络4.1-4.5 人脸识别/one-shot learning/Siamase网络/Triplet损失/将面部识别转化为二分类问题
4.4特殊应用:人脸识别和神经网络风格转换觉得有用的话,欢迎一起讨论相互学习~Follow Me4.1什么是人脸识别Face verification人脸验证 VS face recognition人脸识别Face verification人脸验证人脸验证 输入是一张图片,以及人的姓名或者ID作为标签输出是这张输入的图片是否是这个确定的人这时候也被称为1...原创 2018-08-16 21:47:33 · 723 阅读 · 1 评论 -
[DeeplearningAI笔记]序列模型1.1-1.2序列模型及其数学符号定义
4.4特殊应用:人脸识别和神经网络风格转换觉得有用的话,欢迎一起讨论相互学习~Follow Me5.1什么是序列模型在进行语音识别时,给定了一个输入音频片段X,并要求输出片段对应的文字记录Y,这个例子中的输入和输出都输序列数据。因为X是一个按时序播放的序列音频而输出Y是一系列单词。音乐生成使用的也是序列数据,在这个例子中只有输出数据Y是序列,而输入数据可以是空集也可以是个单...原创 2018-08-19 13:37:14 · 886 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络4.11一维和三维卷积
4.4特殊应用:人脸识别和神经网络风格转换觉得有用的话,欢迎一起讨论相互学习~Follow Me4.11一维和三维卷积二维和一维卷积 * 对于2D卷积来说,假设原始图像为14∗14∗314∗14∗314*14*3的三通道图像,使用32个5∗5∗35∗5∗35*5*3的卷积核(其中3表示通道数,一般只关注感受野的大小,而卷积核的深度大小与输入的通道数相同)进行卷积,则得...原创 2018-08-18 21:37:19 · 2510 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络4.6-4.10神经网络风格迁移
4.4特殊应用:人脸识别和神经网络风格转换觉得有用的话,欢迎一起讨论相互学习~Follow Me4.6什么是神经网络风格转换neural style transfer将原图片作为内容图片Content,风格图片Style,生成的图片用Generated image 表示。 4.7深度卷积神经网络在学什么What are deep ConvNets lear...原创 2018-08-18 20:51:42 · 677 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络3.1-3.5目标定位/特征点检测/目标检测/滑动窗口的卷积神经网络实现/YOLO算法
4.3目标检测觉得有用的话,欢迎一起讨论相互学习~Follow Me3.1目标定位对象定位localization和目标检测detection判断图像中的对象是不是汽车–Image classification 图像分类不仅要判断图片中的物体还要在图片中标记出它的位置–Classification with localization定位分类当图片中有 多个 对象时...原创 2018-08-13 21:14:40 · 9502 阅读 · 1 评论 -
[DeeplearningAI笔记]卷积神经网络3.10候选区域region proposals与R-CNN
4.3目标检测觉得有用的话,欢迎一起讨论相互学习~Follow Me3.10 region proposals候选区域与R-CNN基于滑动窗口的目标检测算法将原始图片分割成小的样本图片,并传入分类器进行检测。基于卷积神经网络的滑动窗口目标检测方法把原始图像分割成小的网格,并分别在网格中检测是否有目标对象。有人提出在基于普通滑动的目标检测方法中有很多小的样本图片中是空的是没...原创 2018-08-14 17:25:29 · 1205 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络3.6-3.9交并比/非极大值抑制/Anchor boxes/YOLO算法
4.3目标检测觉得有用的话,欢迎一起讨论相互学习~Follow Me3.6交并比intersection over union交并比函数(loU)可以用来评价对象检测算法,可以被用来进一步改善对象检测算法的性能。如何评价一个算法的好坏,即如图中假设红色框线表示 真实的对象所在边界框,紫色框线表示 模型预测的对象所在边界框.通过计算两个边界框交集和并集的比用于评价对象检测算法...原创 2018-08-14 15:50:02 · 3072 阅读 · 1 评论 -
[DeeplearningAI笔记]卷积神经网络2.9-2.10迁移学习与数据增强
4.2深度卷积网络觉得有用的话,欢迎一起讨论相互学习~Follow Me2.9迁移学习迁移学习的基础知识已经介绍过,本篇博文将介绍提高的部分。提高迁移学习的速度可以将迁移学习模型冻结的部分看做为一个函数,因为每次都要使用这个冻结模型的输出值来训练自己的网络层,这样从加载模型到预训练模型都会耗费一定的时间。为此,可以将目标训练集通过冻结模型的输出保存到本地,作为新...原创 2018-07-25 21:38:43 · 839 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.1-2.2词嵌入word embedding
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me2.1词汇表征 Word representation原先都是使用词汇表来表示词汇,并且使用1-hot编码的方式来表示词汇表中的词汇。 这种表示方法最大的缺点是 它把每个词孤立起来,这样使得算法对相关词的泛化能力不强例如:对于已知句子“I want a glass of orange _ ” 很可...原创 2018-08-28 11:15:45 · 416 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.5-1.6不同类型的循环神经网络/语言模型与序列生成
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me1.5不同类型的循环神经网络上节中介绍的是 具有相同长度输入序列和输出序列的循环神经网络,但是对于很多应用Tx和TyTx和TyT_{x}和T_{y}并不一定相等。 在此节会介绍不同的能够处理不同问题的循环神经网络。多对多循环神经网络对于命名实体识别的问题中,RNN的输出和输入序列长度一致...原创 2018-08-21 11:14:29 · 977 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.3-3.5集束搜索
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.3 集束搜索Beam Search对于机器翻译来说,给定输入的句子,会返回一个随机的英语翻译结果,但是你想要一个最好的英语翻译结果。对于语音识别也是一样,给定一个输入的语音片段,你不会想要一个随机的文本翻译结果,你想要一个最接近愿意的翻译结果。Jane visite l’Afrique en...原创 2018-08-31 15:21:47 · 637 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.7-3.8注意力模型
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.7注意力模型直观理解Attention model intuition长序列问题 The problem of long sequences对于给定的长序列的法语句子,在下图中的网络中,绿色的编码器读取整个句子,然后记忆整个句子,再在感知机中传递,紫色的解码神经网络将生成英文翻译。人...原创 2018-09-03 16:44:27 · 556 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.1基本的 Seq2Seq /image to Seq
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.1基础模型 [1] Sutskever I, Vinyals O, Le Q V. Sequence to Sequence Learning with Neural Networks[J]. 2014, 4:3104-3112. [2] Cho K, Van Merrienboer ...原创 2018-08-30 15:40:13 · 1076 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.10词嵌入除偏
5.2自然语言处理觉得有用的话,欢迎一起讨论相互学习~Follow Me2.10词嵌入除偏 Debiasing word embeddings Bolukbasi T, Chang K W, Zou J, et al. Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddi...原创 2018-08-30 10:59:53 · 622 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.9情感分类
5.2自然语言处理觉得有用的话,欢迎一起讨论相互学习~Follow Me2.9 Sentiment classification 情感分类情感分类任务简单来说是看一段文本,然后分辨这个人是否喜欢或不喜欢他们正在谈论的这段文本。情感分类 一个最大的挑战是可能标记的训练集没有那么多,但是有了词嵌入,即使只有中等大小标记的训练集也能构建一个不错的情感分类器。问题引入...原创 2018-08-30 09:37:39 · 417 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.8 GloVe词向量
5.2自然语言处理觉得有用的话,欢迎一起讨论相互学习~Follow Me2.8 GloVe word vectors GloVe词向量 Pennington J, Socher R, Manning C. Glove: Global Vectors for Word Representation[C]// Conference on Empirical Methods in...原创 2018-08-29 21:26:23 · 374 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.6Bleu得分/机器翻译得分指标
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.6Bleu得分在机器翻译中往往对应有多种翻译,而且同样好,此时怎样评估一个机器翻译系统是一个难题。 常见的解决方法是通过BLEU得分来进行判断评价机器翻译Evaluating machine translation Papineni K. Bleu:A Method for ...原创 2018-09-01 11:19:30 · 1404 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.7负采样Negative sampling
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me2.7 负采样 Negative sampling Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]// Intern...原创 2018-08-29 18:54:15 · 2361 阅读 · 5 评论 -
[DeeplearningAI笔记]序列模型2.6Word2Vec/Skip-grams/hierarchical softmax classifier 分级softmax 分类器
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me2.6 Word2VecWord2Vec相对于原先介绍的词嵌入的方法来说更加的简单快速。 Mikolov T, Chen K, Corrado G, et al. Efficient Estimation of Word Representations in Vector Space[J]. C...原创 2018-08-29 14:16:27 · 996 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.7-1.9RNN对新序列采样/GRU门控循环神经网络
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me1.7对新序列采样基于词汇进行采样模型在训练完一个模型之后你想要知道模型学到了什么,一种非正式的方法就是进行一次新序列采样。 一个序列模型模拟了任意特定单词序列的概率,对新序列采样即是对概率分布进行采样来生成一个新的单词序列。假设你的RNN训练模型为: 对于新序列进行采样第一步即是对想要模...原创 2018-08-21 22:21:16 · 1688 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.3-2.5余弦相似度/嵌入矩阵/学习词嵌入
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me2.3词嵌入的特性 properties of word embedding Mikolov T, Yih W T, Zweig G. Linguistic regularities in continuous space word representations[J]. In HLT-NAACL, 2...原创 2018-08-28 20:04:38 · 1746 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络2.5-2.7 Network in Network/1*1卷积/Inception网络/GoogleNet
4.2深度卷积网络觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 Inception网络 –Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[J]. 2014:1-9.2.5网络中的网络与1*1卷积Network in Network在架构内容设计方面,一个比...原创 2018-07-25 16:25:54 · 872 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络1.4-1.5Padding与卷积步长
4.1卷积神经网络觉得有用的话,欢迎一起讨论相互学习~Follow Me1.4Padding一张6∗66∗66*6大小的图片,使用3∗33∗33*3的卷积核设定步长为1,经过卷积操作后得到一个4∗44∗44*4的图像。特征图大小公式设定原始图像大小为n∗nn∗nn*n,卷积核大小为f∗ff∗ff*f,则经过卷积操作后特征图大小为(n−f+1)∗(n−f+1)(...原创 2018-07-19 20:45:10 · 996 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络1.2-1.3边缘检测
4.1卷积神经网络觉得有用的话,欢迎一起讨论相互学习~Follow Me1.2边缘检测示例边缘检测可以视为横向边缘检测和纵向边缘检测如下图所示:边缘检测的原理是通过一个特定构造的卷积核对原始图片进行卷积操作后得到一个特征图,这个特征图恰好能反应图像的边缘。例如:假设下图中越大的像素值对应的颜色越浅而越小的像素值对应的颜色越深。则一张如左图所示的6∗66∗66*6...原创 2018-07-19 19:03:26 · 3843 阅读 · 0 评论 -
[DeeplearningAI笔记]第二章1.9归一化normalization
觉得有用的话,欢迎一起讨论相互学习~Follow Me1.9 归一化Normaliation训练神经网络,其中一个加速训练的方法就是归一化输入(normalize inputs).假设我们有一个训练集,它有两个输入特征,所以输入特征x是二维的,这是数据集的散点图. 归一化输入需要两个步骤第一步-零均值化subtract out or to zero out the mean 计算出u即x(i)的均原创 2017-10-22 13:28:20 · 2393 阅读 · 0 评论 -
[DeeplearningAI笔记]第二章3.8-3.9分类与softmax
Multi-class classification多类别分类觉得有用的话,欢迎一起讨论相互学习~Follow Me3.8 Softmax regression原有课程我们主要介绍的是二分分类(binary classification),这种分类只能有两种可能的标记0或1,如果我们要进行多类别的分类呢… 有一种logistic回归的一般形式叫做Softmax回归.能让你在试图识别某一分类时作出原创 2017-10-30 12:41:22 · 1354 阅读 · 0 评论 -
[DeeplearningAI笔记]第三章2.9-2.10端到端学习
机器学习策略-端到端学习End-to-end deeplearning觉得有用的话,欢迎一起讨论相互学习~Follow Me2.9 什么是端到端学习-What is End-to-end deeplearning以前有一些数据处理系统或者学习系统,它们需要多个阶段的处理. 端到端学习就是忽略中间的过程用单个神经网络代替它.Speech recognition example你的目标是输入X,比原创 2017-11-07 17:12:48 · 463 阅读 · 0 评论 -
[DeeplearningAI笔记]第二章3.4-3.7-Batch NormalizationBN算法
Batch NormalizationBatch归一化觉得有用的话,欢迎一起讨论相互学习~Follow Me3.4正则化网络的激活函数Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参数的选择更加稳定.超参数的范围会更庞大,工作效果也更好.也会使你更容易的训练甚至是深层网络.对于logistic回归来说正则化原理u=1m∑xi(求出平均值u)x=x−uσ2=1m∑(xi)2(求出原创 2017-10-29 21:36:45 · 1610 阅读 · 1 评论 -
[DeeplearningAI笔记]第二章3.1-3.2超参数搜索技巧
Hyperparameter search超参数搜索觉得有用的话,欢迎一起讨论相互学习~Follow Me3.1 调试处理需要调节的参数级别一:α\alpha学习率是最重要的需要调节的参数级别二: Momentum参数 β\beta 0.9是个很好的默认值mini-batch size,以确保最优算法运行有效隐藏单元数量级别三: 层数 , 层数有时会产生很大的影响.learning原创 2017-10-29 10:46:18 · 599 阅读 · 0 评论 -
[DeeplearningAI笔记]第二章1.4-1.8正则化与Dropout
觉得有用的话,欢迎一起讨论相互学习~Follow Me1.4 正则化(regularization)如果你的神经网络出现了过拟合(训练集与验证集得到的结果方差较大),最先想到的方法就是正则化(regularization).另一个解决高方差的方法就是准备更多的数据,这也是非常可靠的方法.正则化的原理正则化公式简析L1范数:向量各个元素绝对值之和L2范数:向量各个元素的平方求和然后求平方根Lp范数:向原创 2017-10-20 15:23:31 · 1118 阅读 · 0 评论 -
[DeeplearningAI笔记]第二章1.1-1.3偏差/方差/欠拟合/过拟合/训练集/验证集/测试集
觉得有用的话,欢迎一起讨论相互学习~Follow Me1.1 训练/开发/测试集对于一个数据集而言,可以将一个数据集分为三个部分,一部分作为训练集,一部分作为简单交叉验证集(dev)有时候也成为验证集,最后一部分作为测试集(test).接下来我们开始对训练集执行训练算法,通过验证集或简单交叉验证集选择最好的模型.经过验证我们选择最终的模型,然后就可以在测试集上进行评估了.在机器学习的小数据量时代常见原创 2017-10-18 20:54:34 · 2305 阅读 · 0 评论 -
[DeeplearningAI笔记]第一章人工智能行业大师访谈
觉得有用的话,欢迎一起讨论相互学习~Follow Me吴恩达采访Geoffrey HintonNG:前几十年,你就已经发明了这么多神经网络和深度学习相关的概念,我其实很好奇,在这么多你发明的东西中,哪些你到现在为止依然保持有热情的.Hinton:我认为我觉得最具学术之美的是受限Boltzmann机器,我们认为他能用很简单很简单的算法去应用到密度很高的连接起来的网络.Hinton:我仍然认为无监督学习原创 2017-10-17 18:37:19 · 517 阅读 · 0 评论 -
[DeeplearningAI笔记]第一章2.11-2.16 向量化与python/numpy向量说明
觉得有用的话,欢迎一起讨论相互学习~Follow Me2.11向量化向量化是消除代码中显示for循环语句的艺术,在训练大数据集时,深度学习算法才变得高效,所以代码运行的非常快十分重要.所以在深度学习领域中将大数据集进行向量化操作变得十分重要.对于非向量化数据的计算,我们会使用循环去遍历整个数据集计算对应项的乘积.例如我们要计算一个数据样本,其中w和b都是一个n维向量,计算式子:Z=WT+bZ=W^{原创 2017-10-14 16:58:54 · 413 阅读 · 0 评论 -
[DeeplearningAI笔记]第一章2.1-2.4 二分分类,logistic回归,logistic回归损失函数,梯度下降法
觉得有用的话,欢迎一起讨论相互学习~Follow Me2.1 二分分类在二分分类问题中,目标是训练出一个分类器,它以图片的特征向量x作为输入,预测输出的结果标签y是1还是0.在图像识别猫图片的例子中也就是预测图片中是否有猫. 2.2 logistic回归已知的输入的特征向量x,可能是一张图,你需要将其识别出这是不是一张猫图,你需要一个算法,给出一个预测值,这里我们将预测值表示为y^\hat{y}.原创 2017-10-13 16:45:40 · 714 阅读 · 0 评论 -
[DeeplearningAI笔记]第一章3.2-3.11浅层神经网络与激活函数的原理
觉得有用的话,欢迎一起讨论相互学习~Follow Me3.2 神经网络表示 对于一个由输入层,隐藏层,输出层三层所组成的神经网络来说,输入层,即输入数据被称为第0层,中间层被称为第1层,输出层被称为第2层.所以这个神经网络被称为两层神经网络,我们不把输入层当做一个标准的层.3.3 计算神经网络的输出对于输入层的输入,我们把输入看做是一个矩阵,对于第一层的第一个神经元结点,计算WT∗x+bW^T*x原创 2017-10-15 14:16:14 · 1156 阅读 · 0 评论 -
[DeeplearningAI笔记]第三章1.1-1.3查准率/查全率/F1分数
机器学习策略 ML strategy觉得有用的话,欢迎一起讨论相互学习~Follow Me1.1 什么是ML策略机器学习策略简介情景模拟假设你正在训练一个分类器,你的系统已经达到了90%准确率,但是对于你的应用程序来说还不够好,此时你有很多的想法去继续改善你的系统 收集更多训练数据训练集的多样性不够,收集更多的具有多样性的实验数据和更多样化的反例集.使用梯度下降法训练更长的时间尝试一个不同原创 2017-10-30 21:05:17 · 495 阅读 · 0 评论