![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 72
JYliangliang
发现问题,解决问题,不要绕开问题的本身;多做事情,不会吃亏,即使不是你的事情。
展开
-
PyTorch深度学习(29)Pytorch code importance content
Pytorch代码及命令总结原创 2022-10-30 17:04:30 · 1422 阅读 · 1 评论 -
OpenMMLab(1)配置文件
configs文件配置,包括网路就哦模型、数据集及处理、优化器和epoch、日志保存原创 2022-10-11 10:25:42 · 914 阅读 · 0 评论 -
基于YoLov5的PyQt5目标检测图形可视化工具
报错1:AttributeError: Can‘t get attribute ‘SPPF‘ on <module ‘models.common‘ from ......解决方案:model/common.py里面去找到这个SPPF的类,把它拷过来到你这个Tags5的model/common.py里面,这样你的代码就也有这个类了,还要引入一个warnings包import warningsclass SPPF(nn.Module): # Spatial Pyramid Pooling原创 2022-05-31 19:16:04 · 1124 阅读 · 1 评论 -
Ubuntu Docker使用及安装Pycharm(2)
Docker仓库管理DockerHub是Docker官方维护的一个公共仓库大部分需求都可以通过在 Docker Hub 中直接下载镜像来实现。Docker Hubhttps://hub.docker.com/仓库Repository仓库(Repository)是集中存放镜像的地方登录登录需要输入用户名和密码,登录成功后,我们就可以从 docker hub 上拉取自己账号下的全部镜像。docker login输入Docker Hub注册的账号和密码即可。退出.原创 2022-04-30 20:27:25 · 2250 阅读 · 0 评论 -
PyTorch深度学习(26)网络结构Swin-Transformer
内容原创 2022-04-07 16:22:23 · 2662 阅读 · 0 评论 -
PyTorch深度学习(28)视觉图像分割、检测、超分
视觉图像分割图像分割:在原始图像中逐像素找到指定物体对每个像素点二分类(做分类任务)归属类别图像检测:框选 预测坐标值分割任务:逐像素点分类任务 对每个点做分类 如:人、天、草地、树 四分类各个类别概率,属于哪个类型就用哪个颜色显示语义分割每个像素都打上标签,只区分类别,不区分类别中具体单位(只分大类,部分小类)损失函数惩罚——做什么是对的,什么是错了衡量逐像素交叉熵——希望将每个像素点都判断对考虑样本均衡问题MIOU指标IoU(Intersection o...原创 2022-04-09 17:41:09 · 3533 阅读 · 0 评论 -
PyTorch深度学习(27)Shift VisionTransformer
AlexNet的革命性进步,CNNs主导计算机视觉领域近10年ViT的Backbone明显优于CNN的Backbone,迅速应用于目标检测、语义分割、动作识别等计算机视觉任务中。ViT相比CNN,具有显著的优点:1、提供了同时捕获短期和长期依赖的可能性,摆脱了卷积的局限限制2、两个空间位置之间的相互作用动态地依赖于各自的特征,而不是一个固定的卷积核但是,这两点是否是成功的关键:对于第一点:Swin-Transformer和Local ViT引入局部注意力机制,将其注意力范围限制在一个原创 2022-04-08 08:00:33 · 3086 阅读 · 0 评论 -
PyTorch深度学习(25)网络结构ConvNeXt
ConvNeXt论文地址:https://arxiv.org/abs/2201.03545一、改进点随着技术的不断发展,各种新的架构及优化策略促使Transformer拥有更好的效果相同策略训练卷积神经网络以ResNet-50为基准1、Macro design(1)Swin-T的比例是1:1:3:1 Swin-L的比例是1:1:9:1堆叠次数由(3, 4, 6, 3)调整为(3, 3, 9, 3)(2)最初的下采样模块为stem,例如ResNet中stem是7×7卷积核3×3.原创 2022-04-02 23:26:14 · 5973 阅读 · 0 评论 -
PyTorch深度学习(23)Transformer及网络结构ViT
一、Transformer二、ViT网络原创 2022-04-02 22:03:32 · 2076 阅读 · 0 评论 -
PyTorch深度学习(24)深度学习知识点总结
深度学习一、机器学习和深度学习机器学习流程:数据获取 特征工程 建立模型 评估与应用ML机器学习(Machine Learning):更偏向于人工,传统算法DL深度学习(Deep Learning):NN→CNN PyTorch 分割、检测等DL实质:将人工的事情简单;计算复杂的事情交给计算机优点:简洁、方便、效果好二、知识点1、CV 计算机视觉CV:处理图像、视频数据核心:提特征(提取动物、植物、物品等特征,进行分类)传统方法:人为指定色彩、纹理、原创 2022-04-02 21:02:17 · 614 阅读 · 0 评论 -
PyTorch深度学习(22)网络结构ResNet、BN、迁移学习、ResNeXt
一、简介ResNet在2015年微软实验室提出,斩获当年ImageNet竞赛中分类任务第一名,目标检测第一名。获得COCO数据集中目标检测第一名,图像分割第一名。Deep Residual Learning for Image Recognition网络亮点:超深的网络结构(突破1000层) 提出residual模块 使用Batch Normalization加速训练(丢弃dropout)问题:梯度消失或梯度爆炸 梯度消失: 梯度爆炸: 退化问题(degradation原创 2022-04-01 21:33:23 · 1687 阅读 · 0 评论 -
CV低高等视觉及模型架构
Low-Level-Vision主要包括:超分辨率、图像恢复、去雨、去雾、去模糊、去噪、重建等方向1.超分辨率(Super-Resolution) 2.图像去雨(Image Deraining) 3.图像去雾(Image Dehazing) 4.去模糊(Deblurring) 5.去噪(Denoising) 6.图像恢复(Image Restoration) 7.图像增强(Image Enhancement) 8.图像去摩尔纹(Image Demoireing) 9.图像阴影去除(I原创 2022-03-30 14:17:23 · 3041 阅读 · 0 评论 -
神经网络复现步骤
一、神经网络1、根据architecture图,记录通道数变化引入import torch.nn as nn创建通用卷积块方法2、定义类,继承(nn.Module):de __init__中初始化每个卷积块或设定的结构块注意:此处需要注意级联后图像通道数的变化def forward(定义参数)参数:如果是单通道输入,则可设定为x;如是双通道输入,则为两个图,设定为x_1,x_2forward方法中,根据结构图,源图像依次传入卷积块或设定的结构块中注意:此处需要注意级联原创 2022-03-27 20:41:59 · 2324 阅读 · 0 评论 -
神经架构搜索
Neural Architecture Search神经架构搜索简介ResNet、Inception、DenseNet 自动设计神经网络的技术,通过算法根据样本集自动设计出高性能的网络结构 有效降低神经网络的使用和实现成本原理搜索空间、搜索策略、性能评估策略给定一个称为搜索空间的候选神经网络结构集合。搜索空间,搜索策略,性能评估策略是NAS算法的核心要素。搜索空间可以搜索的神经网络结构的集合,即解的空间搜索策略如何在搜索空间中寻找最优网络结构性能评估策略如何评原创 2022-03-25 14:52:32 · 3630 阅读 · 3 评论 -
PyTorch深度学习(21)网络结构GoogLeNet
一、网络结构图网络亮点:引入Inception(融合不同尺寸) 使用1×1的卷积核进行降维以及映射处理 添加两个辅助分类器帮助训练 丢弃全连接层,使用平均池化层(大大减少模型参数)二、网络代码(1)网络层(2)训练层(3)验证层...原创 2022-04-03 13:11:28 · 1572 阅读 · 0 评论 -
PyTorch深度学习(20)网络结构DenseNet
一、网络结构1、DenseNet网络结构2、密集块及卷积层数据二、代码详情1、网络代码import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Fimport fusion_strategy# 卷积层class ConvLayer(torch.nn.Module): def __init__(self, in_channels, out..原创 2022-02-24 17:19:36 · 2037 阅读 · 5 评论 -
PyTorch深度学习(19)网络结构VGGNet
VGGNet网络结构分类数据:将数据集中10%的图像为验证集Validation,其他为训练集Trainimport osfrom shutil import copy, rmtreeimport randomdef mk_file(file_path: str): if os.path.exists(file_path): # 如果文件夹存在,则先删除原文件夹在重新创建 rmtree(file_path) os.makedirs.原创 2022-02-18 19:39:46 · 798 阅读 · 0 评论 -
PyTorch深度学习(18)网络结构LeNet、AlexNet
CNN(Convolutional Neural Network)1、雏形:LeCun的LeNet(1998)网络结构Pytorch Tensor的通道顺序:[batch,channel,height,wight]LeNetimport torchimport torch.nn as nnimport torch.nn.functional as Fclass LeNet(nn.Module): def __init__(self): super(LeN原创 2022-02-15 19:40:49 · 1158 阅读 · 0 评论 -
PyTorch深度学习(17)RNN LSTM
RNNRNN(循环神经网络)是一种以序列数据为输入来进行建模的深度学习模型,可用于股价预测、天气温度预测、文本生成、网络评论情感分析、机器翻译等场景缺点:1、计算速度慢 2、短期记忆保存,不适合保存长期信息(对短期信息敏感,缺乏长期信息的依赖)优势:1、能处理任意长度的输入 2、模型大小不随输入长度影响 3、计算过往的历史数据 4、权重共享LSTMLSTM:Long Short Term Memory 长短期记忆cell state单元状态 传送带上的状态信息由遗忘门和输入门控制...原创 2021-12-10 20:54:11 · 1955 阅读 · 0 评论 -
PyTorch深度学习(16)tensor张量
一、什么是tensor?scalar(标量):一个数值 2vector(向量):一个数组 [2],[3]matrix(矩阵):二维数组 [[2,3], [4,5]]tensor(张量):大于二维的数组,即多维数组tensor的类型numpy.float64、numpy.float32、numpy.float16、numpy.int64、numpy.int32numpy.int16、numpy.int8、numpy.uint8、numpy.bool备注:pip 安装时使用清华源-.原创 2021-12-10 10:26:26 · 1003 阅读 · 0 评论 -
PyTorch深度学习(15)MNIST手写数据集训练
专业名词参数和超参数参数:模型f(x,θ)中θ称为模型的参数,可以通过优化算法进行学习超参数:用来定义模型结构或优化策略batch_size 批处理每次处理的数据数量epoch 轮次把一个数据集,循环运行几轮transforms变换主要将图片转换为tensor,旋转图片,以及正则化normalize 正则化模型出现过拟合现象时,降低模型复杂度卷积层:由卷积核构建,卷积核简称为卷积,也称为滤波器,卷积的大小可以在实际需要时自定义其长和宽(1×1、3×3、5×原创 2021-12-01 18:57:23 · 1781 阅读 · 0 评论 -
TensorFlow 安装chainer,以及conda安装cudatoolkit、cupy
chainer是一个深度学习框架,如果想使用GPU进行加速计算,必须在装chainer之前装cupy。为了方便,推荐使用conda安装cupy。加入你已经装好了conda,cuda和它对应的驱动(nvidia-smi查看GPU版本和驱动)也安装好了。那么我们开始吧!第一步:创建名为chainer的conda环境conda create -n chainer python==3.8第二步:安装cudnn执行命令安装cudnn8.0conda install cudnn==8.0.5.原创 2021-11-23 22:32:10 · 1620 阅读 · 0 评论 -
TensorFlow各个GPU版本CUDA和cuDNN对应版本整理
CUDA Toolkit and Minimum Compatible Driver VersionsCUDA Toolkit Toolkit Driver VersionLinux x86_64 Driver Version Windows x86_64 Driver VersionCUDA 11.4 Update 1 >=470.57.02 >=471.41CUDA 11.4.0 GA >=470.42.01 &...原创 2021-11-23 22:03:15 · 4285 阅读 · 0 评论 -
PyTorch深度学习(14)命令行记录及安装梳理
下载anaconda,并安装在Anaconda目录中,打开Anaconda Prompt分别输入python 及 conda进入anaconda安装文件夹,同时按住shift和右键,打开Powershell窗口输入jupyter notebook,如打不开,则需要复制 or copy and paste one of these URLs下的网址链接new——> Python3 shift+enter键可运行代码安装pytorch环境conda create -n...原创 2021-11-22 21:40:23 · 1083 阅读 · 0 评论 -
IT项目管理 第六章 驾驭项目成本
第六章 驾驭项目成本掌握要点驾驭成本就是掌握、控制、管理成本6.1 项目成本管理概述6.1.1 项目成本与项目成本管理软件成本成为IT项目的主要开销,项目经理必须确保项目有恰当的定义、精确的时间和成本估算,以及切合实际的预算。(1)成本定义:为完成项目而发生的资源耗费的货币表现,包括项目生命周期各阶段的资源耗费。项目成本的特征有如下表示形式:项目成本是完成项目所需要的全部费用的总和。一般项目成本包括项目决策和定义成本、项目获取成本、项目设计成本、项目实施成本等。其中项目...原创 2021-11-12 13:13:27 · 2001 阅读 · 0 评论 -
TensorFlow(2)安装完成测试代码
TensorFlow环境安装完成,GPU安装完成后新建项目,环境选择TensorFlow安装环境分别使用CPU 和 GPU进行测试,代码如下import tensorflow as tfimport timeit# print("GPU", tf.test.is_gpu_available())with tf.device('/cpu:0'): cpu_a = tf.random.normal([10000, 1000]) cpu_b = tf.random.nor.原创 2021-10-31 16:48:00 · 1037 阅读 · 0 评论 -
TensorFlow(1)开发环境搭建
PlatformWindows 10 or Ubuntu 16.04/18.04 Anaconda,Python 3.7 CUDA 10.0 NVIDIA CUDA cuDNN TensorFlow 2.0 PyCharm1、安装ANACONDA安装后,cmd→控制台→conda list2、安装CUDANVIDIA显卡 CUDA安装 驱动 CUPIT cuDNN安装 动态库 https://developer.nvidia.com/rdp/cu..原创 2021-10-31 16:22:41 · 924 阅读 · 0 评论 -
TensorFlow(0)框架演变
2015年Scikit-learn Machine learning,No GPU Caffee 2013,第一个面向深度学习的框架;No auto-grad,C++ Keras 底层实现并不是由自己完成,wrapper Theano 开发难,调试难;加拿大 Torch Lua语言 新加坡国立大学 NUS SINGA apache下项目TensorFlowCaffee Facebook,Caffee→Pytorch Torch→PyTorch Theano...原创 2021-10-31 10:22:48 · 270 阅读 · 0 评论 -
PyTorch深度学习(13)PyTorch Torch Vision python 版本对应
pytorch,torchvision,python 版本对应pytorch,torchvision,python 三者的对应关系来源于 pytorch 官方 github,链接:https://github.com/pytorch/vision#installation创建并进入虚拟环境创建一个虚拟环境,其中 pt 是自定义虚拟环境名称,另外根据踩坑经验 python 3.6.5 版本可以适配所有版本的 pytorch,建议创建环境时 python 解释器版本选择 3.6.5 版本。原创 2021-10-30 10:43:45 · 37025 阅读 · 4 评论 -
PyTorch使用中出现问题记录
安装pytorch出现问题原创 2021-10-24 09:23:21 · 4811 阅读 · 0 评论 -
PyTorch深度学习(12)利用GPU训练及模型验证
一、利用GPU训练方式一 .cuda()网络模型数据(输入,标注)损失函数调用 .cuda()方式二 .to(device).to(device)device = torch.device( "cpu" )torch.device( "cuda" )电脑中有多张显卡torch.device( "cuda:0" )torch.device( "cuda:1" )只有数据、图片、标注需要.to() 后进行赋值device = torch....原创 2021-10-24 09:00:00 · 1339 阅读 · 0 评论 -
PyTorch深度学习(11)完整模型训练
模型训练步骤准备数据集 获取数据集长度(包括训练集和测试集) 利用DataLoader来加载数据集 搭建网络模型 创建网络模型 定义损失函数 定义优化器 设置训练参数(记录训练次数、记录测试次数、训练的轮数) 训练步骤开始 将训练集添加到网络模型中 计算损失函数 梯度归零 优化器优化模型 反向传播,计算每个参数梯度值 通过梯度下降执行一步梯度更新 测试步骤开始 设置无梯度 将测试集添加到网络模型中 计算损失函数 计算每行最大值,取得正确率原创 2021-10-17 09:00:00 · 1426 阅读 · 0 评论 -
PyTorch深度学习(5)神经网络 nn.Module及Conv2d卷积层
一、神经网络模块神经网络:Neural Network1、引入包import torch.nn2、继承需要定义类并继承nn.Module,并重写其中的__init__ 和 forward 方法3、具体代码import torchfrom torch import nn# 继承nn.Module后需实现__init__和forward方法# forward 为前向传播class NNModule(nn.Module): def __init__(self原创 2021-10-16 10:47:06 · 2278 阅读 · 0 评论 -
PyTorch深度学习(7)非线性激活及线性层
一、Non-Linear Activations 非线性激活1、RELUinput > 0时,取原始值;input < 0时,取0Input:(N, *) N - batch_sizeOutput:(N, *) N - batch_sizenn.ReLU(inplace:bool=false)inplace为True, input = -1, ReLU(input, inplace=True) —— input = 0inplace为False,inpu...原创 2021-10-16 13:48:50 · 835 阅读 · 0 评论 -
PyTorch深度学习(6)池化层
Pooling Layers 池化层1、种类:nn.MaxPool1d 下采样池化 nn.MaxPool2d nn.MaxPool3d nn.MaxUnpool1d 上采样池化 nn.MaxUnpool2d nn.MaxUnpool3d nn.AvgPool1d 平均池化 nn.AvgPool2d nn.AvgPool3d nn.AdaptiveMaxPool1d 自适应最大池化 nn.AdaptiveMaxPool2d nn.AdaptiveMaxPool3d n...原创 2021-10-16 13:04:42 · 1079 阅读 · 0 评论 -
PyTorch深度学习(8)Sequential及小神经网络搭建
CIFAR10神经网络卷积层Conv公式Hin=32 Hout=32 padding=未知 dilation=1 kernel_size=5 stride=132 = (32 + 2 × padding - 1 × (5 - 1) - 1) / 1 + 1 得padding = 2具体代码:import torchfrom torch import nnfrom torch.utils.tensorboard import SummaryWrite...原创 2021-10-16 14:16:05 · 163 阅读 · 0 评论 -
PyTorch深度学习(9)损失函数、反向传播、优化器
一、损失函数例如:试卷总计100分,其中选择题30分、判断题20分、简答题50分target(目标分数):选择30、判断20、简答50ouput(实际分数):选择10、判断10、简答10Loss = (30 - 10) + (20 - 10) + (50 - 10) = 70loss越小越好1、计算实际输出和目标之间的差距2、为我们更新输出提供一定的依据(反向传播)1)L1LossL1Loss x:1,2,3 y:1,2,5L1Loss = (0 + 0 ...原创 2021-10-16 15:12:49 · 767 阅读 · 0 评论 -
PyTorch深度学习(4)DataLoader
DataLoader 数据加载类使用时需要先引入 import torch.utils.data.DataLoaderDataLoader中各个参数含义:dataset:定义的dataset类返回的结果 batch_size:每批加载的样本数量,默认是1 shuffle:是否打乱一批数据 sampler:从数据集中加载的数据所采用的策略,如果指定,shuffle需为false batch_sampler:表示一次返回一个batch的index num_workers:表示开启多少个线.原创 2021-10-15 21:56:19 · 547 阅读 · 0 评论 -
PyTorch深度学习(3)Transforms CIFAR10
使用Transforms,需要先引入 from torchvision import transformsTensor 张量 实际就是一个多维数组multidimensional array,其目的是能够创造更高维度的矩阵、向量__call__方法:魔法函数__call__,即把类当作函数使用,不需要再调用类中的函数例如:person = Person() person("name") person.Name()# 创建具体的工具 tool = transforms.T...原创 2021-10-15 20:56:32 · 984 阅读 · 0 评论 -
PyTorch深度学习(2)Tensor-board
命令行记录:pip install tensorboard 安装tensorboard (x轴步长,y轴值)tensorboard --logdir=logs 事件文件所在文件夹名称tensorboard --logdir=logs --port=6007 修改端口为6007...原创 2021-10-10 17:23:50 · 543 阅读 · 0 评论