深度学习
深度学习
DisguiseR6
打比赛,打比赛,打比赛!!!
展开
-
优化篇-【参数初始化】
【参数初始化】文章目录【参数初始化】1. 参数初始化的重要性1.1.初始化与深度学习的起源1.2.什么是好的初始化2. 常用参数初始化方法2.1 全零与随机初始化2.2.标准初始化2.3.Xavier2.3xavier与标准化初始化对比2.4.MSRA初始化3.如何更好地进行参数初始化3.1.思考1. 参数初始化的重要性1.1.初始化与深度学习的起源1.2.什么是好的初始化各层激活值...原创 2019-04-13 17:38:52 · 426 阅读 · 0 评论 -
【Keras】- LeNet-5
【Keras】- LeNet-51.难点说明1.mnist 无法下载mnist.npz>>>find /home -mane keras/home/ggp/anacoddas/lib/python3.6/site-packages/keras'''打开 mnist.py里面的地址默认为'''path = get_file(path, origin='htt...原创 2019-06-01 13:42:11 · 576 阅读 · 0 评论 -
【c1w4】- 吴恩达深度学习作业
【c1w4】- 吴恩达深度学习作业总结文章目录【c1w4】- 吴恩达深度学习作业总结0.总结1.L-layer网络2.前向传播1.Linear Forward2.Linear-Activation Forward3.L-Layer Model4.代价函数5.反向传播1.Linear backward2.Linear-Activation backward6.参数更新1.难点说明1.np.sum(...原创 2019-05-27 21:03:20 · 222 阅读 · 0 评论 -
分类任务笔记
分类任务笔记链接文章目录分类任务笔记0.说明1.sys.argv[]2.tf.convert_to_tensor()3.tf.argmax()4. tf.equal()5.tf.cast()1.dataset.py 数据集接口定义2.net.py3.train.py4.inference.py 测试接口这是一个分类任务net.py 是网络定义dataset.py 是数据集接口定义...原创 2019-05-23 09:17:35 · 393 阅读 · 0 评论 -
【深度学习】-吴恩达作业笔记
【深度学习】-吴恩达作业作业链接【c1w1】【结构化数据 VS 非结构化数据】结构化数据:由明确定义的数据类型组成,其模式可以使其易于搜索非结构化数据:通常由不容易搜索的数据组成,其中包括音频、视频和社交媒体发布等格式。【c1w2】1.编程基础神经元节点先计算线性函数,再计算激活函数广播:广播会在缺失维度和轴长度为1的维度上进行(相乘也可以)【 * and n...原创 2019-05-13 10:49:32 · 408 阅读 · 0 评论 -
【c1w2】- 吴恩达深度学习作业总结
【c1w2】深度学习作业1-Python Basics with Numpy (optional assignment)1.1 np.exp() and math()当输入为一个向量时使用 np.exp()1.2 sigmoid 函数导数使用sigmoid(x)=11+e−xsigmoid(x) = \frac{1}{1+e^{-x}}sigmoid(x)=1+e−x1sigmo...原创 2019-05-13 10:47:53 · 161 阅读 · 0 评论 -
【c1w3】- 吴恩达深度学习作业总结
【c1w3】- 吴恩达深度学习作业总结文章目录【c1w3】- 吴恩达深度学习作业总结0.总结1.对于隐藏层为4(可以自己更改)模型1.前向传播3.反向传播4.参数更新2.预测1 .难点说明1.导数2.np.round()3.参数说明0.总结初始化参数 parameters-{W1,b1,W2,b2}进行迭代 前向传播 计算损失函数 反向传播 参数更新(parame...原创 2019-05-17 11:11:43 · 337 阅读 · 0 评论 -
优化篇-【归一化】
#【归一化】1.归一化的概率和作用1.1 什么是归一化1.2.归一化的作用除去量纲的干扰去均值与归一化,加速梯度下降的求解速度重新调整数据分布深度网络中数据分布如果在某一层开始有明显的偏移,会使接下来这一问题加剧2.常用的归一化2.1. Batch Normalization2.2.Batch Normalization的好处1-减轻了对参数初始化的依赖2-...原创 2019-04-14 21:20:36 · 539 阅读 · 0 评论 -
优化篇-【泛化能力】
【泛化能力】文章目录【泛化能力】1.什么是泛化1.1.什么是泛化(generalization)2.什么是正则化2.1.什么是正则化3.常用的正则化方法3.1.正则化方法分类3.2 经验正则化方法3.2.1经验正则化方法-Dropout3.2.2其他经验正则化方法3.3参数正则化方法3.4.隐式正则化方法1.什么是泛化1.1.什么是泛化(generalization)模型不仅在训练集表现...原创 2019-04-14 21:18:27 · 684 阅读 · 0 评论 -
优化篇-【激活函数】
【激活函数】文章目录【激活函数】1.什么是激活函数1.1 什么是激活函数2. 为什么需要激活函数2.1.大脑的生物机制2.2 网络的表达能力3.激活函数的发展3.1 激活函数种类3.2 sigmoid 和 tanh 激活函数3.2.1.sigmoid 函数优缺点:3.2.2tanh函数优缺点:3.3 ReLu激活函数3.4 Relu激活函数的改进3.5Maxout函数4. 总结与展望4.1.激活...原创 2019-04-14 21:14:51 · 394 阅读 · 0 评论 -
优化篇-【池化】
【池化】文章目录【池化】1.池化的概念与作用1.1 什么是池化1.2 池化的作用2.常用的池化方法2.1 最大池化与均值池化2.2 随机池化(stochastic pooling)2.3 混合池化(mixed pooling)2.4.其他3.关于池化的思考3.1 新的池化方法3.2. 带步长卷积与池化的必要性1.池化的概念与作用1.1 什么是池化pooling,将一个区域中的信息压缩成一...原创 2019-04-13 17:43:45 · 2958 阅读 · 0 评论 -
【c2w1】- 吴恩达深度学习作业
【c2w1】- 吴恩达深度学习作业文章目录【c2w1】- 吴恩达深度学习作业1.Initialization2.Regularization1.L2 regularization2.Dropout3.Gradient Checking(未完成)1.Initialization1-zero 初始化2-随机初始化3-He 初始化2dimension of the&nb...原创 2019-06-04 09:58:17 · 260 阅读 · 0 评论