
深度学习数据处理
文章平均质量分 69
源代码杀手
大厂算法工程师经验、高校教师。
互相学习,共同进步!想做项目,私聊需求。
展开
-
torch_scatter和torch_sparse用于处理图形数据和稀疏张量·「含有下載地址」
在图神经网络中,图通常被表示为稀疏张量,其中每个非零元素表示图中的一条边或连接。torch_sparse提供了对这些稀疏张量执行常见操作的功能,例如转置、矩阵乘法等。这在图神经网络中是非常有用的,因为在每个节点处需要将邻居的信息聚合起来以进行下一步的计算。torch_scatter和torch_sparse是PyTorch的两个重要扩展库,用于处理图形数据和稀疏张量。这两个库的结合使得在PyTorch中更容易地处理图形数据和稀疏张量,为图神经网络的研究和应用提供了强大的工具。原创 2024-02-07 14:44:30 · 658 阅读 · 0 评论 -
RTX30系列linux+docker容器的GPU配置(tensorflow-gpu==1.15~2.x、tensorrt 7、cuda、cudnn)附加resnet50模型测试
当然还有其他很多的方法,也不止这一种,只是觉得这里的tensorflow1.15gpu安装的方式是直接给你封装一起安装了(包含cudnn,cuda),如果觉得想了解环境的配置细致,可以先创建conda+python3.6,再安装对应的cuda、cudnn版本就可以了,这里只是记录以下,希望能帮助到大家。在保证宿主机安装好nvidia驱动的前提下,创建docker容器导入nvidia环境案例conda先装cuda=11.3.1,cudnn=8.2.1,再装tensorflow-gpu=2.6.5。......原创 2022-07-26 22:42:52 · 4298 阅读 · 0 评论 -
PyTorch使用技巧4:简单理解transforms.Compose()
torchvision是pytorch的一个图形库,它服务于PyTorch深度学习框架的,主要用来构建计算机视觉模型。torchvision.transforms主要是用于常见的一些图形变换。以下是torchvision的构成:torchvision.datasets: 一些加载数据的函数及常用的数据集接口;torchvision.models: 包含常用的模型结构(含预训练模型),例如AlexNet、VGG、ResNet等;torchvision.transforms: 常用的图片变换,例如裁剪、旋转原创 2022-07-09 17:27:41 · 4824 阅读 · 0 评论 -
PyTorch使用技巧3:简单理解nn.Sequential()、super().__init__()、__call__、model.train()、model.eval()和前后传播
一个序列容器,用于搭建神经网络的模块被按照被传入构造器的顺序添加到nn.Sequential()容器中。除此之外,一个包含神经网络模块的OrderedDict也可以被传入nn.Sequential()容器中。利用nn.Sequential()搭建好模型架构,模型前向传播时调用forward()方法,模型接收的输入首先被传入nn.Sequential()包含的第一个网络模块中。然后,第一个网络模块的输出传入第二个网络模块作为输入,按照顺序依次计算并传播,直到nn.Sequential()里的最后一个模块输出结原创 2022-07-09 15:15:01 · 2996 阅读 · 0 评论 -
PyTorch使用技巧2:netron可视化模型结构
参考资料:https://blog.csdn.net/qq_30263737/article/details/114268646https://blog.csdn.net/weixin_43863869/article/details/121915379https://blog.csdn.net/weixin_43183872/article/details/108329776转载 2022-07-07 15:36:52 · 348 阅读 · 0 评论 -
PyTorch使用技巧1:F.dropout加self.training、F.log_softmax
dropout方法是将输入Tensor的元素按伯努利分布随机置0,具体原理此处不赘,以后待补。总之就是训练的时候要用dropout,验证/测试的时候要关dropout。以下介绍Module的training属性,F(torch.nn.functional).dropout 和 nn(torch.nn).Dropout 中相应操作的实现方式,以及Module的training属性受train()和eval()方法影响而改变的机制。方法来自论文:https://www.jmlr.org/papers/volum原创 2022-07-07 11:27:32 · 1519 阅读 · 0 评论 -
YOLO自带的图像数据增强方法
yolo数据增强code: https://github.com/ultralytics/yolov3/blob/master/utils/datasets.py原理:主要参考了CutMix数据增强方式。CutMix:随机选择一部分区域并且填充训练集中的其他数据的区域像素值,分类标签按一定的比例进行平滑软化(smooth label)论文地址:https://arxiv.org/abs/1905.04899v2代码地址:https://github.com/clovaai/CutMix-PyTorc原创 2021-08-24 09:48:16 · 7075 阅读 · 0 评论 -
一个用于机器学习实验中图像增强的库:imgaug
imgaug是一个用于机器学习实验中图像增强的库。它支持广泛的增强技术,允许轻松组合这些技术并以随机顺序或在多个 CPU 内核上执行它们,具有简单而强大的随机界面,不仅可以增强图像,还可以增强关键点/地标、边界框、热图和分割图。教程链接:https://imgaug.readthedocs.io/en/latest/index.html...转载 2021-08-24 09:17:50 · 610 阅读 · 0 评论