NG学习笔记
echoye12
这个作者很懒,什么都没留下…
展开
-
深度学习的梯度消失/爆炸
考虑一个L层的网络,前向计算时,对于第l层: zl=wlal−1+blz_l = w_la_{l-1} + b_lzl=wlal−1+bl al=δ(zl)a_l = \delta (z_l)al=δ(zl) 反向计算时,对于第l层: dzl=wl+1dzl+1∗δ′(zl)dz_l = w_{l+1}dz_{l+1} * \delta'(z_l)dzl=wl+1dzl+1∗δ′...原创 2020-01-16 10:53:03 · 178 阅读 · 0 评论 -
tensorflow demo
使用tensorflow优化函数:j(w)=w2−10w+25j(w) = w^2 - 10w+ 25j(w)=w2−10w+25 import numpy as np import tensorflow as tf #初始化变量 w = tf.Variable(0, dtype=tf.float32) #初始化cost function #type 1 #cost = tf.add(tf.a...原创 2020-01-16 10:42:26 · 108 阅读 · 0 评论 -
neural network入门
导读 sigmoid softmax neural network training sigmoid (logistic regression) import numpy as np from numpy.linalg import cholesky import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D...原创 2020-01-16 10:38:02 · 347 阅读 · 0 评论 -
Gradient Descent
gradient descent根据每次迭代时计算梯度的样本大小,可以分为bath, mini-batch, SGD;对gd的优化,可通过修改迭代步长或alpha值改进 ;优化迭代步长的算法有:momentum, RMSProp, adam等; 修改alpha值:learning rate decay,learning rate的衰减有不同的方法,以下列举常用的几种 alpha = alpha_0...原创 2020-01-15 19:42:23 · 247 阅读 · 0 评论