深度学习
文章平均质量分 74
[山青花欲燃]
未来的所有日子,每当我想起你的时候,我的心里会是一个盛大而永恒的春天,我们不是春季限定,你就是我的春天
展开
-
最新SHH妙用——VS免密连接服务器
便于直接敲代码,下载文件,上传文件直接拖,个人建议文件交互不使用VS,可以用命令或者Xshell和XHttp强推。校园网下使用,寝室有可能用不了,去外面用XTU-FREE(记下此时IP等信息,回寝把IP改为静态,设置一样)Win + X (或者右键Win)打开PowerShell。打开VScode,新建SSH会话,直接进入不再需要密码。打开VScode,新建SSH会话,直接进入不再需要密码。上传,需要输入服务器密码(直接输,看不到)直接回车或者选第一个,CV下面。输入密码,并一路点接受加回车。原创 2022-09-20 22:52:41 · 943 阅读 · 0 评论 -
ubuntu 安装 nvidia——Deepstream5.1
本教程详细记录了在 ubuntu 上安装 deepstream5.1 的方法。一些版本要求:CUDA 11.1。原创 2022-08-07 23:57:41 · 756 阅读 · 0 评论 -
NVIDIA——DeepStream 配置文件解析
参考:DeepStream 配置文件解析参考:deepstream 样本配置和流。原创 2022-08-07 23:49:53 · 1588 阅读 · 2 评论 -
NVIDIA NCCL优化——利用共享内存实现比NCCL更快的集合通信
从 2080Ti 这一代显卡开始,所有的民用游戏卡都取消了 P2P copy,导致训练速度显著的变慢。针对这种情况下的单机多卡训练,MegEngine中实现了更快的集合通信算法,对多个不同的网络训练相对于NCCL有3%到10%的加速效果MegEngine v1.5 版本,可以手动切换集合通信后端为 shm(默认是 nccl),只需要改一个参数。(由于 shm 模式对 CPU 有额外的占用,且只有在特定卡下才能提高效率,因此并没有默认打开)目前只实现了单机版本,多机暂不支持。...原创 2022-08-07 14:51:25 · 2338 阅读 · 2 评论 -
NVIDIA可编程推理加速器TensorRT学习笔记(三)——加速推理
在命令行上作为输入参数传递的图像(.pb文件)的数量决定了此示例中的批大小。使用降低的精度来表示模型使您能够在内存中拟合更大的模型,并在较低的数据传输要求下获得更高的性能,从而降低精度。例如,在Volta和图灵GPU上使用32倍的倍数的批大小在较低精度下可能特别快速和有效,因为TensorRT可以使用特殊内核来表示利用Tensor核心的矩阵乘法和全连接层。TensorRT的主要优势在于其灵活性和多种技术的使用,包括混合精度,所有GPU平台上的有效优化以及跨各种模型类型进行优化的能力。......原创 2022-07-25 20:02:15 · 1922 阅读 · 1 评论 -
NVIDIA cuDNN学习
NVIDIACUDA®深度神经网络库(cuDNN)是一个GPU加速的深度神经网络基元库,能够以高度优化的方式实现标准例程(如前向和反向卷积、池化层、归一化和激活层)。全球的深度学习研究人员和框架开发者都依赖cuDNN来实现高性能GPU加速。借助cuDNN,研究人员和开发者可以专注于训练神经网络及开发软件应用,而不必花时间进行低层级的GPU性能调整。cuDNN可加速广泛应用的深度学习框架,包括Caffe2、Chainer、Keras、MATLAB、MxNet、、和。...原创 2022-07-25 19:51:04 · 1279 阅读 · 0 评论 -
NVIDIA可编程推理加速器TensorRT学习笔记(二)——实操
TensorRT是NVIDIA自家的高性能推理库,其列出了各资料入口,如下本文基于博主本机当前安装的TensorRT8.2版本,将一步步介绍从安装,直到加速推理自己的ONNX模型。原创 2022-07-24 17:07:09 · 2452 阅读 · 1 评论 -
在线会议中人脸面部轮廓图像提取(三)——Dlib库人脸面部轮廓图像特征提取
当当当当,第三期来廖!接上一期,介绍完HOG特征提取我们继续学习Dlib库提取特征叭!原创 2022-07-19 15:04:22 · 5289 阅读 · 4 评论 -
在线会议中人脸面部轮廓图像提取(二)——HOG人脸面部轮廓图像特征提取
HistogramofOrientedGridients,缩写为HOG,是目前计算机视觉、模式识别领域很常用的一种描述图像局部纹理的特征。它的主要思想是在一副图像中,局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。其本质为梯度的统计信息,而梯度主要存在于边缘的地方。......原创 2022-07-18 15:02:01 · 2398 阅读 · 14 评论 -
在线会议中人脸面部轮廓图像提取(一)——前言
1)随着人类迈入数字时代,商业机构及政府部门逐渐意识到依靠用户名和密码来确定用户身份是不够安全的,而生物特征所具有的唯一性和不易被复制等特点可以进一步的增加用户身份鉴定的可靠性,因此未来几十年生物识别技术将成为数字安全领域的研究重点。该技术采用基于模型的方法或者基于模型与运动相结合的方法来对人脸进行检测和跟踪,即当特定的人脸在采集设备可以检测的范围内出现时,该技术可以自动的进行跟踪,从而起到对特定人员进行实时监控的作用,使其具有智能监控的功能。(5)人脸识别具有较高的性价比,同时具有较好的可扩展性。....原创 2022-07-18 11:49:59 · 658 阅读 · 0 评论 -
深度学习和机器学习研究方向与框架介绍
计算机视觉,是指计算机从图像中识别出物体、场景和活动的能力。计算机视觉技术运用由图像处理操作,及其他技术所组成的序列来将图像分析任务分解为便于管理的小块任务。自然语言处理,是指计算机拥有的人类般文本处理的能力。机器学习,指的是计算机系统无需遵照显式的程序指令,而只是依靠暴露在数据中来提升自身性能的能力。其核心在于,机器学习是从数据中自动发现模式,模式一旦被发现便可用于做预测。语音识别技术,主要是关注自动且准确的转录人类的语音。该技术必须面对一些与自然语言处理类似的问题,在不同口音的处理、背景噪音、区分同音异原创 2022-07-13 22:53:36 · 5132 阅读 · 4 评论 -
深度学习简单调参实验二——手写数字问题的部分问题解答
开始给的时候这个Accuracy就有93%了,后来把epoch改成5就96%了,但是有个地方不 太懂想问一下:在测试集计算损失那里,中间几行代码是我自己加的Pred里函数Max()[1]意思确实是这个,可以从其数据集格式入手,图片的像素矩阵为0、1max(-1)中的-1表示按照最后一个维度(行)求最大值,即求每一个样本(每一行)概率的最大值。然后.max(-1)[1]中的方括号[1]则表示返回最大值的索引,即返回0或者1,正好与我们原始数据的label相对应。然后pred的返回值为一个长度为样本个数的原创 2022-07-13 18:32:35 · 287 阅读 · 0 评论 -
深度学习简单调参实验二——手写数字问题
数字识别是计算机从纸质文档、照片或其他来源接收、理解并识别可读的数字的能力,目前比较受关注的是手写数字识别。手写数字识别是一个典型的图像分类问题,已经被广泛应用于汇款单号识别、手写邮政编码识别等领域,大大缩短了业务处理时间,提升了工作效率和质量。手写数字识别常用的数据集是 mnist,该数据集是入门机器学习、深度学习 经典的数据集。导入相关依赖与设定随机种子初始化w1,b1的值将w1,w2,w3赋予特定的值前向传播部分参数设置加载数据集,数据预处理权重更新和梯度下降算法、lo原创 2022-07-10 15:20:10 · 642 阅读 · 0 评论 -
深度学习简单调参实验一——一元线性回归求近似解
深度学习简单调参实验一——一元线性回归求近似解原创 2022-07-04 10:09:56 · 327 阅读 · 0 评论 -
我的NVIDIA开发者之旅——TensorFlow —— Linux服务器-GPU版安装CUDA和CUDNN指南
TensorFlow —— Linux服务器-GPU版安装CUDA和CUDNN指南,作为深度学习最最最主流的两个框架之一的Tensorflow,CPU版的TensorFlow安装还是十分简单的,也就是几条命令的时,但是我在GPU版的安装上就会有不少的坑。在这里总结一下整个安装步骤,以及在安装过程中遇到的问题和解决方法。......原创 2022-06-30 23:00:09 · 1466 阅读 · 0 评论 -
我的NVIDIA开发者之旅——CUDA编程基础——并行矩阵乘法
CUDA编程基础——并行矩阵乘法:一个相对简单的CUDA编程Demo(Hello World)原创 2022-06-30 22:06:15 · 723 阅读 · 0 评论 -
我的NVIDIA开发者之旅——确认CUDA是否已经安装成功
我的NVIDIA开发者之旅——确认CUDA是否已经安装成功,常用windows系统炼丹的同学可能会知道很容易查看自己的CUDA(深度学习)环境是否准备好使用ncvv -V命令即可,那如果是在Linux系统上呢,博主是一个大二小白,今年才拿到了导师的linux GPU服务器,这时候该怎么查看相关环境是否搭建好呢,经过一番学习,我总结了一下知识,分享给大家,希望能帮助到大家啦。Linux: Windows:...原创 2022-06-30 21:43:27 · 3225 阅读 · 0 评论 -
Python pytorch tensorflow可视化工具Visdom使用教程--堪比TensorboardX
Python pytorch tensorflow可视化工具Visdom使用教程--堪比TensorboardX学习深度学习、机器学习、数据分析与科学计算的小伙伴们对数据可视化的需求是比较重视的。所以Python的第三方库种有很多Python可视化工具,比如常用的TensorboardX,而今天我要介绍的python可视化工具是与其性能效果旗鼓相当Visdom,在网上已经有比较多的简单的visdom的使用介绍了,今天俺就结合网上教程系统化地整理一下常用的一些Visdom的使用方法叭。...........原创 2022-06-30 15:59:07 · 4710 阅读 · 0 评论 -
我的NVIDIA开发者之旅——Caffe教程(3)使用sklearn和caffe进行简单逻辑回归实践
完成我的NVIDIA开发者之旅——Caffe教程(2)[Jetson TK1]Caffe工具环境(Linux)搭建实例-CSDN社区,搭建好Caffe环境后我们就可以开始我们的Caffe实践啦。不知道大家写的第一个有关深度学习的代码是什么,博主个人是学习吴恩达老师的DeepLearning入门的,也按照课后作业进行了练习,自己第一次动手的就是实现了一个简单的线性回归的实践如下图,到现在依然记忆犹新,哈哈。接下来我们开始吧,虽然Caffe用于深层网络,但它同样可以表示“浅层”模型,如用于分类的逻辑回归。我们将原创 2022-06-26 16:55:24 · 372 阅读 · 1 评论 -
Linux命令查看Linux服务器内存、CPU、显卡、硬盘使用情况
最好Linux命令查看Linux服务器内存、CPU、显卡、硬盘使用情况原创 2022-06-26 13:56:47 · 7574 阅读 · 0 评论 -
Windows 10安装和配置caffe教程
windows 10安装和配置caffe教程转载 2022-06-26 10:50:40 · 1057 阅读 · 0 评论 -
我的NVIDIA开发者之旅——Caffe教程(2)[Jetson TK1]Caffe工具环境(Linux)搭建实例
主要为上一篇我的NVIDIA开发者之旅——Caffe教程(1)[Jetson TK1]Caffe工具环境(Linux)搭建-CSDN社区安装过程中容易发生的一些问题和错误提出一些解决方案。这篇教程参考了caffe官方文档,分成两个版本,CPU版本和GPU版本,其实本质上只是配置不同罢了。Caffe教程(2)[Jetson TK1]Caffe工具环境(Linux)搭建实例--Ubuntu 16.04 下安装配置caffe...原创 2022-06-26 10:35:43 · 802 阅读 · 0 评论 -
GPU之nvidia-smi命令详解
NVIDIA-SMI简称NVSMI,提供监控GPU使用情况和更改GPU状态的功能,是一个跨平台工具,支持所有标准的NVIDIA驱动程序支持的Linux和WindowsServer 2008 R2 开始的64位系统。这个工具是N卡驱动附带的,只要装好驱动,就会有这个命令Windows下表格参数详解:隔两秒刷新一下GPU的状态:nvidia-smi -l上面是显存监控中常用的几个命令,如果还有什么参数想了解,可以通过:命令查看如果想调整结果记录文件的字段,可以通过下面的命令查看对应的字段:3原创 2022-06-20 23:02:21 · 28581 阅读 · 0 评论 -
炼丹--服务器深度学习训练
主要内容:本文将讲解如果利用现有的云服务器来跑python程序。使用到了Anaconda实现了PyCharm同步云服务器,实现本地编辑自动同步至云服务器,并且本地运行python程序时使用云服务器来跑代码(从而不需要消耗本地电脑资源)或是不用PyCharm编辑,而是手动运行云服务器的python文件,挂载后台运行输出文本等开发环境云服务器:腾讯云(香港节点):1核1G 25G CentOS 7.6.1810 x86_64Anaconda版本:Anaconda3-4.3.1-Linux-x86_原创 2022-05-26 13:38:24 · 14200 阅读 · 0 评论 -
国内常见与人工智能(深度学习、机器学习)相关比赛合集
国内常见与人工智能(深度学习、机器学习)相关比赛合集原创 2022-05-26 13:37:13 · 5883 阅读 · 0 评论 -
深度学习实践2--分类检测识别专场
深度学习实践2–分类检测识别专场时间:(5.12 - 5.22)线下展示要求:按自己情况配合完成,每组至少实现一个,选题目一最好再选一个其他尝试一下,并且两个人都能简单了解过程,可自选题目(展示就好)。展示功能效果展示跑通流程展示部分原理(你理解的部分即可)可以做PPT介绍最好选用PyTorch框架版,考虑到时间问题,每组最多向我求助两次,当然在大群聊不算。以下自选:一、带有一个隐藏层的平面数据分类难度:一颗星本地跑通即可其他参考资料:无特点:好像没有原创 2022-05-12 20:41:05 · 17966 阅读 · 0 评论 -
Learning Enriched Features for Real Image Restoration and Enhancement Paddle模型复现93号(1)
EvaluationImage Denoising 图像去噪 的Testing on SIDD dataset、Testing on DND datasetImage Super-resolution 图像超分辨率以上四个由于显存不够等硬件问题无法跑起,不过环境等已搭好DND:SIDD:Image Enhancement 图像增强Testing on LOL dataset、Testing on Adobe-MIT FiveK dataset模型结果 对去噪、超分、图像增强测原创 2022-05-03 19:04:44 · 18123 阅读 · 0 评论 -
服务器常用Liunx命令
服务器常用Liunx命令linux 后台挂起任务–nohupnohup command > myout.file 2>&1 &command 任务 myout.file 输出文件如 运行 某python文件 并输入到某.log文件中linux下杀死nohup提交到后台运行的程序方法1:如果没有退出客户端界面,可以先通过 “jobs” 命令查看程序是否在运行,此时只有序号没有PID号;输入命令 “jobs -l” 会显示程序的PID号,然后通过 “kill -9原创 2022-05-02 23:57:57 · 26430 阅读 · 0 评论 -
最新CentOs7服务器安装深度学习环境(包含环境变量配置)
最新CentOs7服务器安装深度学习环境(包含环境变量配置)前提条件:一台CentOs7云服务器,个人建议使用腾讯的新人礼包试试手,CPU服务器,50第一年相当还行廖,此外8.8换200现金劵也是相当十分滴舒服拉(当然不是打广告,只是因为刚白嫖完拉)。一、安装Anaconda首先,从清华源下载安装脚本:清华大学开源软件镜像站 | Tsinghua Open Source Mirror并放到服务器上,然后cd到相应位置运行指令:sh (加你Anaconda脚本文件名字)如:sh Anaconda原创 2022-05-01 21:19:43 · 28597 阅读 · 0 评论 -
Anaconda 常用命令
Anaconda 常用命令env_name:环境名称 package_full_name:包名称用途命令显示Anaconda版本conda --version创建环境名称为env_name版本号环境conda create -n env_name环境名称 python=版本号激活环境(conda)activate env_name退出当前环境conda deactivate显示当前所有环境conda env list//conda info -e原创 2022-05-01 10:51:11 · 34675 阅读 · 0 评论 -
我的NVIDIA开发者之旅——最新百度Paddle框架Windows10/7/8/11 GPU/CPU版 Anaconda安装指南
最新百度Paddle框架Windows10/7/8/11 GPU/CPU版 Anaconda安装指南前言:官方安装文档:Windows下的Conda安装-使用文档-PaddlePaddle深度学习平台,我使用后发现问题:安装失败,无法使用Paddle库,查找一些资料后解决。博主电脑环境:HP Win11 GPU NVIDIA GeForce MX250conda 4.12.0 CUDA10.2一、所需前提条件:1.已安装并配置好Anaconda;2.有并已安装好GPU nvidia驱动、CU原创 2022-04-29 20:10:48 · 36333 阅读 · 1 评论 -
深度学习 机器学习 数据集资源汇总
目前个人认为较好的数据集网站主要有:数据集网站1.AI Studio数据集: 开放数据集-百度AI Studio - 人工智能学习与实训社区2.天池数据集:数据集-阿里系唯一对外开放数据分享平台3.Papers With Code数据集:Machine Learning Datasets | Papers With Code4.Kaggle 数据集:Find Open Datasets and Machine Learning Projects | Kaggle5.Graviti O原创 2022-04-25 20:49:47 · 63347 阅读 · 2 评论 -
深度学习入门实践1
如果想简单test一下可以用1.yolov5这个识别模型,新且教程丰富上手快 YOLOV5训练自己的数据集(超详细完整版)2.猫狗大战 猫狗照片分类 金典 简单 Pytorch分类实例之猫狗大战一般来说比较热门的模型会有很多详细介绍的博客1.下载好你想要的模型代码 gitee 或者 github 建议学习一下git操作2.读Readme 创建配置虚拟环境有requirements.txt最好 (直接创环境,然后pip install -r requirements.txt)否则就按他原创 2022-04-23 23:06:53 · 37410 阅读 · 0 评论 -
Anaconda 常用命令
Anaconda 常用命令env_name:环境名称 package_full_name:包名称用途 命令 显示Anaconda版本 conda --version 创建环境名称为env_name版本号环境 conda create -n env_name环境名称 python=版本号 激活环境 (conda)activate env_name 退出当前环境 conda deactivate 显示当前所有环境 conda env list//c原创 2022-04-23 23:03:12 · 35829 阅读 · 0 评论 -
深度学习预备知识
深度学习预备知识1、基础数学知识(线性代数、高等数学、概率论部分知识)•导数概念、如何求导、•矩阵概念、矩阵基本运算、•概率的概念、正态分布的概念等【注意】以上内容入门深度学习足够,强烈不建议大家拿上一本数学教材从头到尾去读,更不要被网上对人工智能中数学知识高深莫测的描述吓到。2、Python基础知识(基础语法即可)•基本概念——列表、循环、遍历、字典、函数、类•科学计算库 numpy(也不需要了解特别多)【注意】 入门深度学习,以上Python知识足够, 强烈不建议一开原创 2022-04-23 22:45:09 · 36133 阅读 · 1 评论 -
我的NVIDIA开发者之旅——深度学习入门之Anaconda搭建PyTorch GPU、CPU全教程
环境搭建 (不必什么都要最新的)一.anaconda安装1.前言:先装Python还是先装Anaconda? 装anaconda,就不需要单独装python了 anaconda 是一个python的发行版,包括了python和很多常见的软件库, 和一个包管理器conda。2.下载Anaconda Anaconda官网 这里选择清华大学镜像网安装,具体见这个网站的教程(官网进去太慢) 建议直接安装在根目录下。 老教程:Anaconda下载安装以及换源,点此进入,访问网站 详细全面先看这个新教程原创 2022-04-13 21:06:16 · 35916 阅读 · 4 评论 -
分布式缓存Redis之Pipeline(管道)
Pipeline,你土味一点你把它翻译成一条龙服务专业一点,叫它综合解决方案,就行。算法或者大数据分析里的可重复使用,针对新的数据,直接输入数据,可以得到结果。一个典型的机器学习构建包含若干个过程1、源数据ETL2、数据预处理3、特征选取4、模型训练与验证以上四个步骤可以抽象为一个包括多个步骤的流水线式工作,从数据收集开始至输出我们需要的最终结果。因此,对以上多个步骤、进行抽象建模,简化为流水线式工作流程则存在着可行性,下载数据,解压数据,根据标签把数据分..原创 2021-08-03 16:37:16 · 19274 阅读 · 0 评论