pytorch
文章平均质量分 74
【网络星空】
人工智能图像领域算法研发,实时发布行业最新技术,希望大家白嫖愉快。
展开
-
【Pytorch的优化器总结归纳】
文章目录1、SGD(随机梯度下降)2、ASGD(随机平均梯度下降)3、AdaGrad算法4、AdaDelta算法5、Rprop(弹性反向传播)6、RMSProp(Root Mean Square Prop,均方根传递)7、Adam(AMSGrad)8、Adamax9、Nadam10、SparseAdam11、AdamW12、L-BFGS13、Radampytorch的几类优化器1.https://pytorch.org/docs/stable/optim.html2.https://ptorch.原创 2022-05-29 21:41:15 · 1766 阅读 · 1 评论 -
【从零开始搭建神经网络并将准确率提升至85%】
文章目录1. 数据集介绍2.加载数据集3.定义网络结构4.定义 Loss 函数和优化器5.训练6.调整方案一7.方案一训练结果8.调整方案二9.方案二训练结果10.总结我们在看一些关于深度学习的教材或者视频时,作者(讲解者)总是喜欢使用MNIST数据集进行讲解,不仅是因为MNIST数据集小,还因为MNSIT数据集图片是单色的。在讲解时很的容易达到深度学习的效果。但是学习不能只止于此,接下来我们就使用彩色图片去训练一个模型。最初我在设置网络结构去训练时,准确率才40%的样子,同时不能够收敛。后来结合原创 2022-05-29 21:27:25 · 1025 阅读 · 0 评论 -
【提高准确率方法总结】
文章目录1.数据集扩增2.增大数据集差异性,随机性3.使用tensor transform对数据进行预处理4.调节batch_size大小5.设置shuffle=True6.调节学习率(learning rate)7.权重衰减 (weight_decay)8.适当增加训练轮次(num_epochs)9.dropout()参数及位置10.参数初始化11.调整网络结构(层数,每层的大小,函数)当初步搭建好网络,模型能出初步结果后,若想优化,可以考虑调整:1.数据集扩增一般增加数据集容量,训练后的准确率会原创 2022-05-29 21:09:26 · 4544 阅读 · 0 评论 -
【加速 PyTorch 模型训练的 9 个技巧】
文章目录0. 导读1. DataLoaders2. DataLoaders 中的 workers 的数量3. Batch size4. 梯度累加6. 单个GPU训练7. 16-bit 精度8. 移动到多个GPUs中9. 多节点GPU训练10. 在单个节点上多GPU更快的训练11. 对模型加速的思考0. 导读使用DataLoadersDataLoader中的workers数量Batch size梯度累计保留的计算图移动到单个16-bit 混合精度训练移动到多原创 2022-05-29 21:02:21 · 489 阅读 · 0 评论 -
【PyTorch 模型剪枝实例教程1(非结构化剪枝)】
文章目录一.导包&定义一个简单的网络二.获取网络需要剪枝的模块三.模块剪枝(核心)四.总结目前大部分最先进的(SOTA)深度学习技术虽然效果好,但由于其模型参数量和计算量过高,难以用于实际部署。而众所周知,生物神经网络使用高效的稀疏连接(生物大脑神经网络balabala啥的都是稀疏连接的),考虑到这一点,为了减少内存、容量和硬件消耗,同时又不牺牲模型预测的精度,在设备上部署轻量级模型,并通过私有的设备上计算以保证隐私,通过减少参数数量来压缩模型的最佳技术非常重要。稀疏神经网络在预测精度方面可原创 2022-05-29 18:03:34 · 277 阅读 · 0 评论 -
【pytorch易错点复习笔记】
文章目录torch.manual_seed()用法详解torch.manual_seed()用法list列表切片方法汇总PyTorch中view的用法Pytorch生成随机数Tensor的方法汇总pytorch 状态字典:state_dict使用详解pytorch中feature map的可视化Pytorch 查看每一层 feature map 的大小sizeone hot编码torch.Tensor.scatter_()函数用法详解torch.Tensor.view()的用法Pytorch tensor.原创 2022-05-04 00:20:45 · 2148 阅读 · 0 评论 -
【torch.nn.xxx 和 torch.nn.functional.xxx/nn.Sequential和nn.Module】
文章目录一、torch.nn.xxx 和 torch.nn.functional.xxx二、nn.Sequential三、nn.Module四、Module 和Sequential对比五、Module和Sequential总结一、torch.nn.xxx 和 torch.nn.functional.xxx在写 PyTorch 代码时,我们会发现在 torch.nn.xxx 和 torch.nn.functional.xxx 中有一些功能重复的操作,比如卷积、激活、池化。 这些操作有什么不同?各有什么用原创 2022-05-03 21:01:33 · 968 阅读 · 0 评论 -
pyTorch模型部署--高并发web服务&c++&移动端ncnn
文章目录1 综述2 以python web服务的形式进行部署3 c++调用方式进行部署3.1 torchscript3.1.1 模型转换3.1.1.1 torch.jit.trace3.1.1.2 torch.jit.script3.1.2 模型保存与加载3.1.3 在c++中使用torchscript的模型(libtorch)3.2 onnx3.2.1 pyTorch模型转onnx3.2.2 使用onnx-simplifier简化模型3.3 tensorrt4 移动端进行部署4.1 ncnn4.2 pyT原创 2022-05-03 19:54:57 · 1919 阅读 · 0 评论 -
【pytorch损失函数之nn.CrossEntropyLoss()、nn.NLLLoss()】
文章目录一、前言二、理论三、项目一、前言nn.CrossEntropyLoss()这个损失函数⽤于多分类问题虽然说的是交叉熵。nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使⽤它来替换⽹络中的这两个操作。二、理论⾸先输⼊是size是(minibatch,C)。这⾥的C是类别数。损失函数的计算如下:损失函数中也有权重weight参数设置 若设置权重,则公式为:其他参数不具体说,和设置差不多,默认情况下,对minibat原创 2022-05-03 17:11:07 · 1570 阅读 · 0 评论 -
Pytorch搭建常见分类网络平台(VGG16、MobileNetV2、ResNet50)
文章目录源码下载分类网络的常见形式分类网络介绍1、VGG16网络介绍2、MobilenetV2网络介绍3、ResNet50网络介绍a、什么是残差网络b、什么是ResNet50模型分类网络的训练1、LOSS介绍2、利用分类网络进行训练a、数据集的准备b、数据集的处理c、开始网络训练总结源码下载https://github.com/bubbliiiing/classification-pytorch分类网络的常见形式常见的分类网络都可以分为两部分,一部分是特征提取部分,另一部分是分类部分。特征提取原创 2022-05-01 16:04:14 · 1270 阅读 · 0 评论 -
语义分割评价指标mIOU
文章目录前言1、计算混淆矩阵:2、计算IOU:3、计算mIOU:总结前言mIOU,Mean Intersection over Union(MIoU,均交并比):其是语义分割的标准度量。在了解mIOU之前,首先先了解一下IOU是什么,IOU的英文全称为Intersection over Union,中文简称为交并比,也就是交和并的比值。在语义分割的问题中,单类的交并比就是该类的真实标签和预测值的交和并的比值。示意图如下:在图中,A为真实标签,占据了图像的一定区域;B为预测结果,占据了图像的一定原创 2022-05-01 13:34:14 · 3828 阅读 · 0 评论 -
超轻量目标检测模型NanoDet(速度很快)PyTorch版本实践
文章目录前言NanoDet 模型介绍1)NanoDet 模型性能2)NanoDet 模型架构3)NanoDet损失函数4)NanoDet 优势基于PyTorch 实现NanoDet1)NanoDet目标检测效果2)环境参数3)体验NanoDet目标检测下载代码,打开工程4)调用模型的核心代码前言YOLO、Fast R-CNN等模型在目标检测方面速度较快和精度较高,但是这些模型比较大,不太适合移植到移动端或嵌入式设备;轻量级模型 NanoDet-m,对单阶段检测模型三大模块(Head、Neck、Back原创 2022-04-30 17:07:29 · 1992 阅读 · 0 评论 -
【OSI七层网络模型】
文章目录前言一、通信一、OSI七层网络模型简介1、OSI的前世今生2、OSI七层模型的划分3、OSI的分层设计思想二、各司其职物理层数据链路网络层传输层会话层表示层应用层三、数据封装与解封装3.1、数据封装过程3.2、数据解封装过程四、TCP/IP协议总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb一、通信mqtt:一种通信协议,类似人类交谈中的汉语、英语、俄语中的一种语言规原创 2022-04-25 22:40:11 · 110 阅读 · 0 评论 -
【yoloV3 yoloV4】
文章目录前言一、yoloV3二、yoloV4总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb一、yoloV3from collections import OrderedDictimport torchimport torch.nn as nnfrom nets.darknet import darknet53def conv2d(filter_in, filte原创 2022-04-25 21:04:31 · 348 阅读 · 0 评论 -
【MobileNetV1 MobileNetV2 MobileNetV3】
文章目录前言一、 MobileNetV1二、 MobileNetV2三、 MobileNetV3总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb一、 MobileNetV1原创 2022-04-25 20:59:33 · 1115 阅读 · 0 评论 -
PyTorch VS TensorFlow:细数两者的不同之处
文章目录起源区别 #0 —— 应用区别 #1——动态及静态图形定义区别 #2—— 调试区别 #3——可视化区别 #4——部署区别 #5—— 数据并行区别 #6——一个更像框架,一个更像库总结在今年 5 月初召开的 Facebook F8 开发者大会上,Facebook 宣布将推出旗下机器学习开发框架 PyTorch 的新一代版本 PyTorch 1.0。据 Facebook 介绍,PyTorch 1.0 结合了 Caffe2 和 ONNX 模块化、面向生产的特性,和 PyTorch 自身灵活、面向研究的原创 2022-04-24 22:42:12 · 1766 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第十六课_nn.model】
文章目录前言总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb#!/usr/bin/env python# coding: utf-8# In[1]:get_ipython().run_line_magic('matplotlib', 'inline')import numpy as npimport torchimport torch.optim as opti原创 2022-04-12 20:21:06 · 789 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第十五课_激活函数】
文章目录前言总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb#!/usr/bin/env python# coding: utf-8# In[1]:get_ipython().run_line_magic('matplotlib', 'inline')import numpy as npimport matplotlib.pyplot as pltimport原创 2022-04-12 20:17:50 · 719 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第十四课_神经网络】
文章目录前言一、tensor打印配置二、读取txt三、 permute矩阵的块行列进行交换四、预先分配张量 然后读取图像填充张量五、显示数据及图像六、正则化数据 方法一七、正则化数据 方法二总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb一、tensor打印配置#!/usr/bin/env python# coding: utf-8# In[1]:get_ipyth原创 2022-04-12 20:14:30 · 459 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第十三课_优化器】
文章目录前言一、优化器种类二、使用梯度下降优化器 传入参数 传入初始学习率三、更新参数四、优化器梯度清零总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb一、优化器种类二、使用梯度下降优化器 传入参数 传入初始学习率三、更新参数四、优化器梯度清零#!/usr/bin/env python# coding: utf-8get_ipython().run_line_mag原创 2022-04-12 19:32:55 · 1347 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第十二课_自动梯度】
文章目录前言一、requires_grad=True自动梯度二、计算损失前为none三、 计算损失后不为none四、梯度清零五、不计算梯度 更新参数总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb一、requires_grad=True自动梯度二、计算损失前为none三、 计算损失后不为none四、梯度清零五、不计算梯度 更新参数#!/usr/bin/env pytho原创 2022-04-12 19:27:32 · 827 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第十一课_学习机制及训练基本架构】
文章目录前言一、pytorch广播机制二、沿着梯度下降 求b偏导三、基本训练流程(python基本函数实现)四、基本训练流程(pytorch基本函数实现)五、反向传播六、参数更新总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb一、pytorch广播机制二、沿着梯度下降 求b偏导三、基本训练流程(python基本函数实现)四、基本训练流程(pytorch基本函数实现)五、反原创 2022-04-12 19:21:16 · 982 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第十课_tensor_# 时间序列数据操作_4】
文章目录前言一、tensor打印配置二、读取txt三、 重构维度四、提取相关数据五、独热编码六、组合与拆分tensor七、正则化数据总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb一、tensor打印配置#!/usr/bin/env python# coding: utf-8import numpy as npimport torchtorch.set_printopt原创 2022-04-10 18:02:28 · 780 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第九课_tensor_表格数据操作_3】
文章目录前言一、tensor打印配置二、numpy读取csv三、python内库读取csv四、numpy->tensor五、连续值 序数值 分类值六、tensor切分及类型转换七、独热编码八、规约(归一化)九、寻找阈值总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/3_tabular_wine.ipynb一、tensor打印配置#!/usr/bin/env python# coding: utf-8import nu原创 2022-04-10 17:45:54 · 1100 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第七课_tensor_图像操作_1】
文章目录前言一、tensor打印配置二、读取图像三、 permute矩阵的块行列进行交换四、预先分配张量 然后读取图像填充张量五、显示数据及图像六、正则化数据 方法一七、正则化数据 方法二总结前言案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/1_image_dog.ipynb一、tensor打印配置#!/usr/bin/env python# coding: utf-8import numpy as npimport torc原创 2022-04-10 16:28:29 · 2555 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第五课_tensor基本操作】
文章目录前言一、创建列表二、创建tensor三、numpy/tensor互转四、创建修改tensor五、查看tensor属性六、tensor切片七、tensor结构分析八、tensor维度查询九、tensor编辑十、克隆tensor十一、tensor转置十二、tensor维度转化十三、tensor连续性判断及连续化十四、tensor连续性判断及连续化十五、tensor元素数据类型设定十六、tensor元素数据类型转换十七、tensor/list切片十八、tensor/numpy转换十九、tensor t格式原创 2022-04-09 22:36:07 · 1139 阅读 · 0 评论 -
pytorch卷积网络可视化feature_map
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、pandas是什么?二、使用步骤1.引入库总结前言一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下(示例):import osimport torchimport torchvision as tvimport torchvision.transforms as transformsimport tor.原创 2022-04-09 19:55:10 · 507 阅读 · 1 评论 -
pytorch搭建卷积神经网络【第四课_自己搭建基于mnist训练网络】
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代.原创 2022-04-08 11:57:26 · 748 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第三课_自己搭建对抗神经网络】
文章目录前言1、网络搭建2、网络架构3、网络架构解析4、网络实例化5、网络权重加载6、网络属性设置7、图像tensor化8、导入测试图9、图像tensor化10、图像传入网络11、生成对抗图12、对抗图解析没有进行全连接,只是对像素点进行的计算总结前言AN 的基本理念其实非常简单,其核心由两个目标互相冲突的神经网络组成,这两个网络会以越来越复杂的方法来“蒙骗”对方。这种情况可以理解为博弈论中的极大极小博弈树。以下就是传入马的网络生成斑马。1、网络搭建#!/usr/bin/env python原创 2022-04-05 22:36:55 · 1226 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第二课_基础_2】
pytorch搭建卷积神经网络原创 2022-04-05 19:18:03 · 1776 阅读 · 0 评论 -
pytorch搭建卷积神经网络【第一课_基础_1】
pytorch搭建卷积神经网络原创 2022-04-05 19:17:06 · 1232 阅读 · 0 评论