![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
优化
deardao
昵称为同名微信号,有合作交流的可与我联系
展开
-
设计普遍逼近的深度神经网络:一阶优化方法
传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。论文地址:https://ieeexplore.ieee.org/document/10477580。原创 2024-04-27 10:22:26 · 207 阅读 · 0 评论 -
TensorFlow 和 Pytorch 中交叉熵 Cross Entropy Loss 的代码实现和手动实现方式
目录TensorFlow中交叉熵的实现手动实现调库实现对比结果输出结果Pytorch中交叉熵的实现TensorFlow中交叉熵的实现手动实现import tensorflow as tf# logits 为输出层输出logits = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0], [7.0, 8.0, 9.0]])# softmaxsof...原创 2020-04-07 15:36:26 · 3170 阅读 · 0 评论 -
几种MAPE的实现方式
目录方法一 (label 中有NaN值)方法二(label 中有零值)方法三 (限制过大过小值)方法一 (label 中有NaN值)这种方式是为了防止label里面有NaN值,但没考虑是否为零值。def masked_mape(preds, labels, null_val=np.nan): if np.isnan(null_val): mask = ~torch.i...原创 2020-04-05 17:39:54 · 9762 阅读 · 2 评论 -
机器学习之优化算法(一)之损失函数
损失函数损失函数被称为 cost function, object function, loss function等,这里不区分几种用法的微小区别。机器学习离不开目标函数,我们分析一下目标函数:其中,前一项是经验风险,后一项是结构风险。前者是为了增加 ML 对已有系统的 fitting,后者是尽量减少 ML 模型的复杂度,以避免 overfitting。整个损失函数称为正则化经验风险最小化...原创 2019-09-18 19:06:56 · 1765 阅读 · 0 评论 -
机器学习之优化算法(二)之梯度下降及收敛性分析
确定性优化算法和随即优化算法是有明显的分界线的。如果加上分布式集群上的实现方式,就可以分为同步或异步的算法。从梯度下降(GD)后,20世纪50年代,各种一阶算法井喷,其中 SGD 也是这个时候的产物。梯度下降(GD)是柯西(Cauchy )大神的1847年提出的。其基本思想是...原创 2019-09-18 19:08:19 · 6944 阅读 · 3 评论