总结整理
To_1_oT
机器学习、深度学习、计算机视觉,欢迎学习交流。
展开
-
总结整理之深度学习中的最优化方法
最优化问题在机器学习/深度学习中是经常遇到的问题,也是很重要的一个问题。学习算法的本质都是建立优化模型,通过最优化方法对目标函数(或损失函数)进行优化,从而训练出最好的模型。常见的最优化方法主要有以下几种。一、梯度下降法1.1 标准梯度下降法(Batch Gradient Descent)参数更新:其中:梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向,因为该方向为当前位置的最...原创 2019-10-11 21:28:18 · 4307 阅读 · 0 评论 -
总结整理之深度学习中的代价函数
一、代价函数假设有训练样本(x, y),模型为h,参数为θ。h(θ)=θT∗x h(θ) = θ^T*x h(θ)=θT∗x(θT表示θ的转置),总体来讲,任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数都可以叫做代价函数C(θ),如果有多个样本,则可以将所有代价函数的取值求均值,记做J(θ)。损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差,而...原创 2019-10-10 22:50:42 · 1115 阅读 · 0 评论