深度学习
这里,从tensorflow开始
小菜鸟也想飞起来
这个作者很懒,什么都没留下…
展开
-
搭建模块化神经网络八股
一、搭建模块化神经网络八股1,前向传播:由输入到输出,搭建完整的网络结构描述前向传播的过程需要定义三个函数:def forward(x,regularizer):w=b=y=return y第一个函数forword()完成网络结构的设计,从输入到输出搭建完整的网络结构,实现前向传播过程。该函数中,参数x为输入,regularizer为正则化权重,返回值为预测或分类结...原创 2020-03-17 15:22:05 · 185 阅读 · 0 评论 -
神经网络优化2
上一篇博客中我们讨论了使用不同的损失函数训练参数、使用softmax()函数获得输出分类的概率分布。这一篇中,我们将讨论学习率、滑动平均对模型参数变化及预测结果的影响。一、概念1、学习率learning_rate表示了每次参数更新的幅度大小。学习率过大,会导致待优化的参数在最小值附近波动,不收敛;学习率过小,会导致待优化的参数收敛缓慢。在训练过程中,参数的更新向着损失函数梯度下降的方向...原创 2020-03-17 10:07:23 · 240 阅读 · 0 评论 -
神经网络优化1
一、相关概念1,我们所使用的神经元模型:有激活函数和偏置值。常用的3个激活函数有relu、sigmoid、tanh2,神经网络的复杂度可用神经网络的层数和神经网络中待优化参数个数表示神经网络的层数=n个隐藏层+1个输出层神经网络待优化的参数=神经网络中所有参数w(权值)的个数+所有参数b(偏置)的个数例子:3,损失函数:用来表示预测值(y)与已知答案(y...原创 2020-03-07 23:10:05 · 432 阅读 · 0 评论 -
搭建神经网络3
两层神经网络-反向传播反向传播:训练模型参数,在所有参数上用梯度下降,使NN模型在训练数据上的损失函数最小。反向传播训练方法:以减少loss值为优化目标,有梯度下降、momentum优化器、adam优化器等优化方法。待续,,,,,,,,,,,,,,,,,,,,,,...原创 2020-02-29 22:58:27 · 161 阅读 · 0 评论 -
搭建神经网络2
前向传播前向传播就是搭建模型的计算过程,让模型具有推理能力,可以针对一组输入给出相应的输出。原创 2020-02-29 16:37:09 · 153 阅读 · 0 评论 -
搭建神经网络1
基本概念1,基于Tensorflow的NN(neural network)用张量表示数据,用计算图搭建神经网络,用会话执行运算图,优化线上的权重,得到模型。0阶张量称作标量,表示一个单独的数,如s=12;1阶张量称作向量,表示一个一维数组(列表),如V=[1,2,3];2阶张量称作矩阵,表示一个二维数组(列表),它可以有i行j列个元素,每个元素可以用行号和列号共同索引到,如m...原创 2020-02-29 15:39:23 · 195 阅读 · 0 评论