机器学习
weixin_41615015
这个作者很懒,什么都没留下…
展开
-
深度学习-梯度下降优化
小批量下降(mini-batch)将样本划分为较小样本集批次进行下降梯度计算,可有效提升梯度下降的次数fot t in range(1,5001): #前向传播 #计算J = 1/m*sum(J(y_hat,y)) #后向传播其中,m表示单批次中的样本数量批量下降算法优化为节省算力和加快学习效率,利用数学方法计算梯度趋势的平均值替代梯度,降低梯度的摇摆幅度。动量梯度下降:vdw = betavdw+(1-beta)dwvdb = betavdb+(1-beta)db原创 2020-07-14 23:00:53 · 120 阅读 · 0 评论 -
深度学习——神经网络理论
神经网络-前向传播前向传播指神经网络由样本数据进行预测的过程,从样本值x不断生成各层输出a[l]的过程。Z[l] = np.dot(w[l],x)+b[l]#(1)a[l] = g[l](z[l])#(2)#在1式中,b[l]为m维向量,对应l层m个神经元,会触发广播机制,自动复制为(m,n)矩阵,n为样本数量#g[l]表示l层的激活函数,主要为实现l层输出的标准化,一般有Relu、tanh和西格玛三种函数,在深度神经网络中,隐藏层主要使用tanh函数,输出层使用西格玛函数。神经网络-后向传播原创 2020-07-14 22:25:07 · 162 阅读 · 0 评论 -
python实现梯度下降
import numpy as npdef gradien_desc(theta, X, y, alpha, iters): # 系数矩阵、自变量矩阵、因变量矩阵、收敛系数和迭代次数 loss_his = np.zeros(iters) theta_his = np.zeros((iters,2)) m = len(y) for i in range(iters): y_hat = np.dot(theta, X) theta -= alph原创 2020-07-09 21:03:10 · 178 阅读 · 0 评论