深度学习小白——最优化问题

最新推荐文章于 2024-07-27 19:57:16 发布

MargaretWG

最新推荐文章于 2024-07-27 19:57:16 发布

阅读量1k

点赞数

本文链接：https://blog.csdn.net/MargretWG/article/details/65629314

版权

这篇博客探讨了深度学习中的最优化问题，旨在找到最小化损失函数的权重值W。介绍了三种方法：随机搜索、随机本地搜索和梯度下降。其中，梯度下降通过计算梯度来迭代更新参数，而在实践中，为了确保准确性，通常会进行梯度检查，比较分析梯度法和数值梯度法的结果。

摘要由CSDN通过智能技术生成

基于参数的评分函数将原始图像像素映射为分类评分值（如一个线性函数）

损失函数可以衡量某个具体参数集的质量好坏，有softmax 和 SVM 等不同实现方式

一、最优化

我们的目的就是找到能够使损失函数值最小的W值

方法一：随机搜索，随机指定W的值准确度：7%

bestloss = float("inf") # Python assigns the highest possible float value
for num in xrange(1000):
  W = np.random.randn(10, 3073) * 0.0001 # generate random parameters
  loss = L(X_train, Y_train, W) # get the loss over the entire training set
  if loss < bestloss: # keep track of the best solution
    bestloss = loss
    bestW = W
  print 'in attempt %d the loss was %f, best %f' % (num, loss, bestloss)