神经网络
文章平均质量分 69
田飞酱啊
这个作者很懒,什么都没留下…
展开
-
神经网络(pytorch框架)回归预测
使用神经网络做回归预测。最终效果如下:引入需要的模块:import mathimport matplotlib.pyplot as pltimport numpy as npimport torchfrom torch import nn生成仿真数据:def generate_data(): y=[] x=[] for i in np.arange(0,5,0.1): x.append(i) y.append(math.原创 2021-10-25 09:31:23 · 9353 阅读 · 1 评论 -
SGD中的自适应采样法总结
1. 有放回均匀采样(SGD uniform),样本采样概率为: (1)式中,|D|为数据集大小。为采样第i个样本的概率。2. 不放回采样(SGD scan) ...原创 2021-05-26 16:16:21 · 1353 阅读 · 0 评论 -
SGD中的自适应采样法
SGD中的自适应采样法SGD是一种广泛使用的优化算法,在其优化过程中,更新规则如下:dt=∇f(it,θt−1),θt=θt−1−γtdtd^t=\nabla f(i^t,\theta^{t-1}),\\\theta^t=\theta^{t-1} -\gamma ^t d^tdt=∇f(it,θt−1),θt=θt−1−γtdt其中,dtd^tdt为输入样本iti^tit时,性能函数fff对参数θt−1\theta^{t-1}θt−1的导数,即梯度。可见,在SGD更新过程中,需要随机选择一个样原创 2021-04-14 21:45:17 · 989 阅读 · 0 评论 -
Deep SVDD
SVDD的基本原理是建立一个超球体去尽可能地包含所有数据,当数据在超球体外就将其作为异常点。如图1所示: 图1 SVDD原理示意图在SVDD的原理(具体可参考上一篇博客)中,其优化过程如下: ...原创 2021-04-03 11:40:16 · 4662 阅读 · 1 评论