![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
piupiurui
努力的rui~
展开
-
梯度下降法(Gradient Descent, GD)数学推导
本文参考李宏毅机器学习视频预备知识1、首先回顾一下 Taylor 展开式的形式:2、当两向量反向相反时,相乘取得最小值;梯度下降法数学推导利用下图演示模型的优化过程(即最小化 Loss function 的过程):为了找到 loss function 的最小值(图中最低点),先随机找一点(a,b),然后以(a,b)为圆心,画一个足够小的圆;在这个圆内,可以使用 Taylor 公式将 loss function 展开,又因为这个圆足够小,圆内的点趋近于(a,b),所以在.原创 2020-05-08 22:14:46 · 973 阅读 · 1 评论 -
ML —— 激活函数总结
激活函数目录==SoftPlus====softmax====sigmoid====修正线性单元(Rectified linear unit,ReLU)====参数化修正线性单元(Parameteric Rectified Linear Unit,PReLU)====带泄露修正线性单元(Leaky ReLU)====指数线性单元(Exponential Linear Unit,ELU)====双曲...原创 2020-03-28 17:58:46 · 406 阅读 · 0 评论