优化
CV/NLP大虾
https://github.com/hanhui269/
展开
-
神经网络中的反向传播(梯度下降)
梯度下降:梯度下降法是一种优化算法,思想是沿着目标函数梯度的方向更新参数值以希望达到目标函数最小(或最大)。梯度下降法是深度学习网络最常用的优化算法。反向传播法:由于深度学习网络按层深入,层层嵌套的特点,对深度网络目标函数计算梯度的时候,需要用反向传播的方式由深到浅倒着计算以及更新参数。所以反向传播法是梯度下降法在深度网络上的具体实现方式。一句话总结就是反向传播法采用...原创 2020-05-06 14:12:19 · 2300 阅读 · 0 评论 -
凸优化-非凸优化
凸(Convex) VS 非凸的概念,数学定义就不写了,介绍个直观判断一个集合是否为Convex的方法,如下图:简单的测试一个集合是不是凸的,只要任意取集合中的俩个点并连线,如果说连线段完全被包含在此集合中,那么这个集合就是凸集,例如左图所示。凸优化有个非常重要的定理,即任何局部最优解即为全局最优解。由于这个性质,只要设计一个较为简单的局部算法,例如贪婪算法(Greedy Algorithm...原创 2020-04-10 16:06:29 · 1249 阅读 · 0 评论