机器学习
文章平均质量分 73
机器学习记录
10onrats
硕士在读
展开
-
LeNet-5识别数字
LeNet识别数字前言环境实现结果前言实现经典卷积神经网络LeNet(LeNet-5)识别数字,这里将激活函数从sigmoid换成ReLU,参考资料《动手学深度学习》。环境python+pytorch实现import torchimport torch.nn as nnimport torchvisionimport matplotlib.pyplot as pltfrom torch.utils import datafrom torchvision import transform原创 2021-10-25 16:10:33 · 490 阅读 · 0 评论 -
牛顿法推导
牛顿法推导目的推导目的牛顿法的目的是为了求目标函数的最小或最大值。推导对于任意多元函数,都可以通过泰勒公式展开,牛顿法需要泰勒公式的前三项,推导过程如下,其中XXX为(x1,x2,…,xn)T(x_1,x_2,…,x_n)^T(x1,x2,…,xn)T:这里γ\gammaγ主要是控制迭代速度,一般要设置的比较小,主要是为了保证Xk+1−XkX_{k+1}-X_kXk+1−Xk足够小,这样前面提到的高阶无穷小才能被忽略。...原创 2021-10-13 17:36:34 · 747 阅读 · 0 评论 -
梯度下降算法推导
梯度下降算法推导目的推导目的梯度下降算法的目的是为了求目标函数的最小值。推导对于任意多元函数,都可以通过泰勒公式展开,梯度下降算法只需要泰勒公式的前两项,即可将任意函数展开为:f(X)=f(Xk)+▽f(Xk)(X−Xk)+R1(X−Xk)f(X)=f(X_k)+\bigtriangledown f(X_k)(X-X_k)+R_1(X-X_k)f(X)=f(Xk)+▽f(Xk)(X−Xk)+R1(X−Xk) (1)其中XXX为(x1,x2,…,xn)T(x_1,x_2,…,x_n)^T原创 2021-10-12 19:18:11 · 449 阅读 · 0 评论