深度学习
文章平均质量分 89
遇见更好的自己
非淡泊无以明志,非宁静无以致远
展开
-
Coursera吴恩达《神经网络和深度学习》课程笔记(3)
转载自http://blog.csdn.net/koala_tree/article/details/78059952神经网络和深度学习—浅层神经网络1. 神经网络表示简单神经网络示意图:神经网络基本的结构和符号可以从上面的图中看出,这里不再复述。主要需要注意的一点,是层与层之间参数矩阵的规格大小:输入层和隐藏层之间转载 2017-11-07 17:08:30 · 475 阅读 · 0 评论 -
如何从头设计一个神经网络库
本系列教程分为两部分1 设计一个神经网络库的基本架构设计2 每个组建的具体实现细节1 神经网络库的基本架构设计为了项目代码的可扩展性,我们选取面向对象的编码方式。我们设计的基本架构主要包括几个主要模块1.神经网络基本模型(NeuralNetworkNeuralNetworkNeuralNetwork):主要用于支持神经网络运行的完整流程,其中包括添加网络层,训练网络模型,预...原创 2018-05-10 20:05:34 · 3304 阅读 · 0 评论 -
卷积神经网络反向求导详解
在卷积神经网络(CNN)前向传播算法中,我们对CNN的前向传播算法做了总结,基于CNN前向传播算法的基础,我们下面就对CNN的反向传播算法做一个总结。在阅读本文前,建议先研究DNN的反向传播算法:深度神经网络(DNN)反向传播算法(BP)1. 回顾DNN的反向传播算法 我们首先回顾DNN的反向传播算法。在DNN中,我们是首先计算出输出层的δLδL:δL=∂J(W,b)∂zL=∂J(W,b)∂...转载 2018-05-10 18:27:43 · 5966 阅读 · 0 评论 -
TensorFlow算法的模板
Import or generate data 我们所有的机器学习算法都是依赖于数据,所以我们首先得准备好数据。Transform and normalize data 我们准备的数据很有可能不是算法所希望的格式,所以我们必须把数据转化为我们可以用的格式。还有大多数算法希望数据是经过标准化的,所以我们需要对数据进行标准化。data = tf.nn.batch_norm_withglobal_原创 2018-01-17 15:32:18 · 419 阅读 · 0 评论 -
Coursea吴恩达《卷积神经网络》课程笔记(2)深度卷积网络
经典的卷积神经网络架构LeNet-5AlexNetVGGResNetInception(Google Network)残差网络残差网络是由残差块组成1 残差网络块z[l+1]=W[l+1]a[l]+b[l+1]z^{[l+1]} = W^{[l+1]}a^{[l]} + b^{[l+1]} a[l+1]=g(z[l+1])a^{[l+1]} = g(z^{[l+1]}) z[l+2]原创 2017-11-14 16:06:49 · 589 阅读 · 0 评论 -
Word Vector Representation
SVD Based Methods1.1 Word-Document Matrix1.2 Window based CO-occurrence MatrixIn this method we count the number of times each word appears inside a window of a particular size around the word of inter原创 2017-06-11 20:30:40 · 1685 阅读 · 0 评论 -
Computing Nerual Network Gradients
Matrix times column vector with respect to the column vector (z=Wx(z = Wx ,what is dzdx)\frac{d z}{d x}) where W∈Rn×m,x∈RmW \in R^{n\times m},x \in R^m dzdx=W \frac{d z}{d x} = WRow vector times ma原创 2017-06-01 21:17:07 · 389 阅读 · 0 评论 -
Coursera吴恩达《卷积神经网络》课程笔记(1)卷积神经网络
计算机视觉计算机视觉问题图片分类 目标检测 画风迁移 在大图片上的深度学习 如果采用传统的全连接层,可能会导致参数巨大,导致无法进行计算。卷积神经网络由此产生边缘检测的例子 可以设计一些专用的filter来提取图片的纵向边缘和横向边缘 - vertical edges horizontal edges 这些专用的filters是计算机视觉专家精心设计出来的,往往可以提取一些不错原创 2017-11-13 11:04:14 · 3226 阅读 · 0 评论 -
Coursea吴恩达《结构化机器学习》课程笔记(2)机器学习策略下
1 误差分析拿猫分类器的例子来说明: 比如通过查看分类错误的的样本发现分类器将上面的狗狗图片误分类为猫,这是一种错误情况。误差分析的一般做法是:随机开发集中误分类的样本中随机选取少量样本(大概100个左右),逐个的进行查看。统计可能发生的错误情况,绘制成表格。在这个例子中,可能发生的错误情况包括:把狗狗识别成了猫。把猫科动物识别成了猫。可能有些照片比较模糊,导致识别错误。这时候可以原创 2017-11-11 22:07:19 · 421 阅读 · 0 评论 -
Coursea吴恩达《结构化机器学习项目》课程笔记(1)机器学习策略上篇
转载自http://blog.csdn.net/column/details/17767.html结构化机器学习项目 — 机器学习策略(1)1. 正交化表示在机器学习模型建立的整个流程中,我们需要根据不同部分反映的问题,去做相应的调整,从而更加容易地判断出是在哪一个部分出现了问题,并做相应的解决措施。正交化或正交性是一种系统设计属性,其确保修改算法的指令或部分不会对转载 2017-11-11 15:56:53 · 1158 阅读 · 0 评论 -
Coursea吴恩达《优化深度神经网络》课程笔记(3)超参数调试、正则化以及优化
转载自http://blog.csdn.net/koala_tree/article/details/78059952改善深层神经网络:超参数调试、正则化以及优化 —超参数调试 和 Batch Norm1. 超参数调试处理在机器学习领域,超参数比较少的情况下,我们之前利用设置网格点的方式来调试超参数;但在深度学习领域,超参数较多的情况下,不是设置规则的网格点,而是随机选择点转载 2017-11-10 21:30:24 · 1550 阅读 · 0 评论 -
Coursea吴恩达《神经网络和深度学习》(4)
转载自http://blog.csdn.net/koala_tree/article/details/78087711神经网络和深度学习—深层神经网络1. 矩阵的维度DNN结构示意图如图所示:对于第l层神经网络,单个样本其各个参数的矩阵维度为:W[l]:(n[l],n[l−1])b[l]:(n[l],1)dW[l]:(n[l],n[l转载 2017-11-08 17:15:48 · 377 阅读 · 0 评论 -
Coursera吴恩达《优化深度神经网络》课程笔记(1)-- 深度学习的实用层面
改善深层神经网络:超参数调试、正则化以及优化 —深度学习的实践方面1. 训练、验证、测试集对于一个需要解决的问题的样本数据,在建立模型的过程中,我们会将问题的data划分为以下几个部分:训练集(train set):用训练集对算法或模型进行训练过程;验证集(development set):利用验证集或者又称为简单交叉验证集(hold-out cross转载 2017-11-05 19:31:24 · 1200 阅读 · 0 评论 -
Coursera吴恩达《优化深度神经网络》课程笔记(2)-- 优化算法
转载自 http://blog.csdn.net/red_stone1/article/details/78348753上节课我们主要介绍了如何建立一个实用的深度学习神经网络。包括Train/Dev/Test sets的比例选择,Bias和Variance的概念和区别:Bias对应欠拟合,Variance对应过拟合。接着,我们介绍了防止过拟合的两种方法:L2 regularization和转载 2017-11-06 10:07:39 · 253 阅读 · 0 评论 -
Coursera吴恩达《神经网络和深度学习》课程笔记(2)
神经网络和深度学习—神经网络基础1. 二分类问题对于二分类问题,大牛给出了一个小的Notation。样本:(x,y),训练样本包含m个;其中x∈Rnx,表示样本x 包含nx个特征;y∈0,1,目标值属于0、1分类;训练数据:{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}输入神经网络时样本数据的形状: X.s转载 2017-11-06 23:08:59 · 558 阅读 · 0 评论 -
RNN反向求导详解
(这里是本章会用到的 GitHub 地址)(感谢评论区 @陌烛 指出本文的诸多错误!!真的非常感谢!!【拜】)RNN 的“前向传导算法”在说明如何进行训练之前,我们先来回顾一下 RNN 的“前向传导算法。在上一章中曾经给过一个没有激活函数和变换函数的公式:在实现层面来说,这就是一个循环的事儿,所以代码写起来会比较简单:import numpy as npclass RNN1: def ...转载 2018-05-08 18:24:50 · 6881 阅读 · 2 评论