dataset activation 日积月累
文章平均质量分 95
about dataset
jasneik
虽然快奔4了,但抵挡不信对图像处理与人工智能的技术狂热的追求。
不在工作中暴发,就是学习中暴发。
展开
-
Pytorch 自定义激活函数前向与反向传播 ReLu系列 含优点与缺点
pytorch 自定义relu 函数的前向传播与反向传播函数原创 2022-04-04 21:43:00 · 3385 阅读 · 2 评论 -
Pytorch 自定义激活函数前向与反向传播 Tanh
看完这篇,你基本上可以自定义前向与反向传播,可以自己定义自己的算子文章目录Tanh公式求导过程优点:缺点:自定义Tanh与Torch定义的比较可视化import matplotlibimport matplotlib.pyplot as pltimport numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as F%matplotlib inlineplt.rcParams['figure.fi原创 2022-04-04 16:02:02 · 2869 阅读 · 0 评论 -
Pytorch 自定义激活函数前向与反向传播 sigmoid
文章目录Sigmoid公式求导过程优点:缺点:自定义Sigmoid与Torch定义的比较可视化import matplotlibimport matplotlib.pyplot as pltimport numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as F%matplotlib inlineplt.rcParams['figure.figsize'] = (7, 3.5)plt.rcPar原创 2022-04-04 13:49:18 · 2111 阅读 · 0 评论 -
深度学习中的一些常见的激活函数集合(含公式与导数的推导)sigmoid, relu, leaky relu, elu, numpy实现
深度学习常用激活函数 公式与导数的推导过程,sigmoid, relu, leaky relu(p relu), elu, sgn等原创 2022-04-03 10:17:52 · 1636 阅读 · 0 评论 -
PyTorch训练中Dataset多线程加载数据,比Dataloader里设置多个workers还要快
PyTorch训练中Dataset多线程加载数据,而不是在DataLoader背景与需求现在做深度学习的越来越多人都有用PyTorch,他容易上手,而且API相对TF友好的不要太多。今天就给大家带来最近PyTorch训练的一些小小的心得。大家做机器学习、深度学习都恨不得机器卡越多越好,这样可以跑得越快,道理好像也很直白,大家都懂。实际上我们在训练的时候很大一部分制约我们的训练的速度快慢被IO限制住了,然面CPU的利用率却不高,就算有8卡了,然而GPU的利用率却长期处理低水平,不能发挥设备本应该有的水平原创 2021-10-17 11:17:36 · 7749 阅读 · 0 评论