神经网络
神经网络学习笔记
enchantedovo
这个作者很懒,什么都没留下…
展开
-
【深度神经网络】笔记
一些符号表示向量化表示(注意维度)表示m个样本的情况why deep neural network一个例子另一个例子原创 2020-08-06 18:27:43 · 135 阅读 · 0 评论 -
【浅层神经网络】04激活函数+梯度下降+前后
一、认识激活函数这里的g(x)二、梯度下降向前传播和向后传播原创 2020-08-05 22:31:35 · 205 阅读 · 0 评论 -
【浅层神经网络】03多个例子中的向量化
将for-loop向量化原创 2020-08-05 16:23:18 · 135 阅读 · 0 评论 -
【浅层神经网络】02计算神经网络的输出
一、第一层对每一个神经元计算:对所有列式:将结果整理:原创 2020-08-04 16:31:44 · 162 阅读 · 0 评论 -
【浅层神经网络】01表示
具体概念可看神经网络相关概念原创 2020-08-03 22:23:19 · 97 阅读 · 0 评论 -
【logistic regression】04Python中广播“broadcasting”+numpy向量的说明
一、广播1.机制2.例子二、numpy vectors不要用秩为1的array行向量或列向量使用np.random.randn(3,1)assert确认是否为行向量使用reshape将秩为1数组转换成向量原创 2020-08-03 22:00:00 · 207 阅读 · 0 评论 -
【logistic regression】03向量化
一、Why Vectorization?方法一:for循环方法二:使用np.dot()二、对上一节导数计算的优化三、对Logistic Regression的优化1.正向传播这就是正向传播进一步迭代的向量化实现,同时处理所有的m个训练样本这里引入“broadcasting”广播,后续会讲2.反向传播(利用向量化同时计算m个训练数据的梯度)不使用for循环对参数进行更新如果想要多次迭代,可以加上for(上面蓝字)...原创 2020-08-03 20:44:22 · 141 阅读 · 0 评论 -
【logistic regression】02多(m)个样本的梯度下降
一、关于成本函数cost function的定义二、步骤1.初始化2.for循环,对m个样本进行计算,得到成本函数J、对各个参数w1、w2和b的导数3.使用dw1、dw2和db作为累加器4.引入向量化技术,摆脱显式for循环(填坑)...原创 2020-08-03 18:59:59 · 265 阅读 · 0 评论 -
【logistic regression】01logistic回归中的梯度下降法
一、logistic回归中的公式二、向后计算偏导数1.计算“da”2.计算“dz”使用链式求导法则3.计算“dw1”、“dw2”4.更新w1、w2、ba这里是学习率原创 2020-08-03 15:17:54 · 175 阅读 · 0 评论 -
【基础】01基本概念的梳理
记录最简单的一些概念,帮助后续学习理解神经网络的传播都是形如Y=WX+b的矩阵运算;为了给矩阵运算加入非线性,需要在隐藏层中加入激活层;输出层结果需要经过Softmax层处理为概率值,并通过交叉熵损失来量化当前网络的优劣。下面是一些概念:1.神经元它是神经网络的基本单位。它获得一定数量的输入和一个偏置值。当信号(值)到达时会乘以一个权值。如果神经元有4个输入,那么就有4个权值,权重可以在训练时调整。2.连接将一个神经元连接到另一层或同一层的另一个神经元。连接伴随着与之相关联的权值。.转载 2020-08-02 23:19:45 · 799 阅读 · 0 评论