吴恩达的课程
文章平均质量分 91
夜雨飘零1
他朝若是同淋雪,此生也算共白头!
展开
-
《Neural Networks and Deep Learning》的理论知识点
目录目录深度学介绍神经网络基础浅层神经网络深度神经网络深度学介绍AI比喻新电是是因为AI就像大约100年前的电力一样,正在改变多个行业,如: 汽车行业,农业和供应链。深度学习最近起飞的原因是:硬件的开发,特别是GPU的计算,是我们获得更多的计算能力;深度学习已在一些重要的领域应用,如广告,语音识别和图像识别等等;目前数字化的时代使得我们拥有更多的数据。...原创 2018-03-29 13:47:14 · 2556 阅读 · 0 评论 -
深度学习神经网络中的梯度检查
目录目录前言一维梯度检查导入依赖包正向传播反向传播开始检查多维梯度检查向前传播反向传播开始检查参考资料前言反向传播计算梯度∂J∂θ∂J∂θ\frac{\partial J}{\partial \theta}, θθ\theta表示模型的参数。 JJJ是使用正向传播和损失函数来计算的。 计算公式如下: ∂J∂θ=limε→0J(θ+ε)−J...原创 2018-04-16 22:59:30 · 7074 阅读 · 5 评论 -
深度学习神经网络中正则化的使用
目录目录前言前提工作模型函数无正则化带L2正则的激活函数损失函数反向传播Dropout带Dropout的前向传播带Dropout的反向传播总结参考资料前言如果训练数据集不够大,由于深度学习模型具有非常大的灵活性和容量,以至于过度拟合可能是一个严重的问题,为了解决这个问题,引入了正则化的这个方法。要在神经网络中加入正则化,除了在激活层中加入正...原创 2018-04-15 19:29:35 · 4664 阅读 · 1 评论 -
深度学习神经网络中权重的初始化
目录目录前言模型函数零初始化随机初始化He初始化总结参考资料前言良好的初始化权重有以下的好处:加快梯度下降的收敛速度增加梯度下降收敛到较低训练(和泛化)错误的几率所以一个良好的初始化也是非常重要的,这里尝试三种初始化化方式:零初始化,将权重参数初始化为零。 随机初始化,使用随机的方式,初始化权重参数。He初始化,这个公式的初始化方式。...原创 2018-04-15 15:35:05 · 12638 阅读 · 0 评论 -
《Improving Deep Neural Networks》的理论知识点
目录目录深度学习的实践方面优化算法超参数调整,批量标准化,编程框架深度学习的实践方面如果有10,000,000个例子,数据集拆分一般是98%训练,1%验证,1%测试。验证和测试的数据集通常是来自同样的分配。如果神经网络模型有很大的差异,一般的解决办法是增加数据集和添加正则。当训练集错误较小,而验证集较大时,通常是增加正则lambda、增加数据集。当增加正...原创 2018-04-15 10:57:53 · 1406 阅读 · 0 评论 -
构建深度神经网络实现猫的二分类
目录目录前言导包初始化网络参数两层网络的初始化L层网络的初始化正向传播模块线性正向传播线性激活正向传播L层模型正向传播计算损失函数反向传播模块线性反向传播线性激活反向传播L层模型反向传播更新模型参数预测正确率两层神经网络模型L层神经网络模型预测自己的图像模型的使用两层模型的使用L层模型的使用预测自己的图像参考资料...原创 2018-03-31 23:48:22 · 4954 阅读 · 2 评论 -
使用带有隐层的神经网络实现颜色二分类
目录目录前言导包加载数据神经网络模型定义神经网络结构初始化模型的参数正向传播计算损失函数反向传播更新参数集成model函数预测结果测试其他隐层调用函数训练所有代码参考资料前言数据集是一个红色和蓝色的的分布。其分布图如下: 导包导入依赖包,这个两个分别是加载数据的工具函数和数据集,这个两个程序可以在这里下载。这个工具函数中使...原创 2018-03-31 16:39:53 · 3325 阅读 · 0 评论 -
使用Logistic回归实现猫的二分类
目录目录前言导入包获取数据学习算法的一般体系结构定义模型结构定义sigmoid函数定义计算损失值函数初始化模型的参数定义梯度下降算法使用Logistic预测将所有功能合并到模型中测试各种的学习率对模型收敛的效果预测自己的图像启动训练全部代码参考资料前言这里使用到的是一个猫的数据集,根据这个数据集训练图像是不是猫,数据集的图像如下: ...原创 2018-03-31 00:20:40 · 5158 阅读 · 3 评论 -
Python的Numpy实现深度学习常用的函数
目录目录常用的激活函数sigmoid函数sigmoid函数的梯度tanh函数tanh函数的梯度ReLU函数图像转矢量规范化行广播和softmax函数numpy矩阵的运算损失函数L1损失函数L2损失函数参考资料常用的激活函数我们常用的激活函数有sigmoid,tanh,ReLU这三个函数,我们都来学习学习吧。sigmoid函数...原创 2018-03-30 18:25:58 · 47676 阅读 · 6 评论 -
初步了解TensorFlow
目录目录前言TensorFlow的基本库前言在本章中,我们一起来学习下TensorFlow。我们将会学习到TensorFlow的一些基本库。通过计算一个线性函数来熟悉这些库。最后还学习使用TensorFlow搭建一个神经网络来识别手势。TensorFlow的基本库首先是导入所需的库,其中最重要的库就是tensorflow的,我们给它一个别名tf。impo...原创 2018-05-24 20:47:17 · 600 阅读 · 0 评论