- 博客(30)
- 收藏
- 关注
RSS订阅原创 【Nvidia Jetson Xavier NX/AGX/NANO】上用docker跑pytorch等cv推理应用
使用docker在容器中跑带有yolo和opencv的应用比起直接在原生环境中跑在jetson xavier NX上并不一定能见到明显的性能下降，容器化性能和很多因素有关，特别是应用对于cpu，gpu的使用情况不同，带宽算力使用情况不同，结果可能会不太一样，具体还是得测试，不能一概而论。在jetson上使用docker跑opencv和pytorch其实主要是要找对镜像，docker官方的hub里并没有适合的能直接跑的镜像，但是nvidia自己提供了L4T的pytorch和ML镜像。然后pull下来就行了。
2023-05-18 14:55:58
1700
原创 Mac Apple Silicon M1/M2 homebrew miniforge conda pytorch yolov5深度学习环境搭建并简单测试MPS GPU加速
笔者使用的是一台M2版本的Macbook Air，虽然苹果作为深度学习的训练机不太合适，但是由于macbook作为打字机实在是无可挑剔，所以使用macbook调试一下pytorch的代码再放到集群上训练或者直接在mac上调试运行代码都是不错的体验，本文以在mac上直接调试yolov5为目标，大概记录一下步骤。这一步就是大家八仙过海各显神通的时候了，总之开启代理后，除了浏览器可以走代理访问之外，还需要配置zsh和git走代理，否则homebrew的安装会比较痛苦。就可以开始使用专属的conda虚拟环境了。
2023-02-27 19:38:43
7227
9
原创 gitlab中git修改commit日期等操作记录
修改时间的操作无法修改gitlab系统活动日志记录，但会让gitlab的commits里显示你修改的时间。
2022-12-26 17:55:13
1495
原创 AWS的各种key的互转与使用
把pemkey转换成ssh-rsassh-keygen -y -f 1.pem > 1.rsa添加到ec2的认证里面，也可以修改cat 1.rsa >> ~/.ssh/authorized_keyswindows登录的时候使用puttygen.exe 转换pem到ppk，勾选ssh-1（rsa），save privatekey
2021-09-01 16:02:50
384
原创 深度神经网络DNN的反向传播原理及推导
DNN反向传播推理CNN反向传播推理对于对于任意（Borel measurable function）波莱尔可测函数（包括⼀切阶梯函数、⼀切连续函数和分段连续函数）和任意给定精度，都可以使⽤多层感知机（MLP）来近似。【1989】Multilayer feedforward networks are universal approximators，该⽂章中证明了任意宽的单隐层MLP的万能近似性质。【2017】Universal Function Approximation by Deep Neur
2020-12-29 17:19:47
485
1
原创 目标检测Object Detection下的P-R曲线，AP，mAP，AUC，ROC曲线详解
目录P-R曲线APmAPP-R曲线上篇文章我们详细说了一下Detection中的Recall和Precision的计算，P-R曲线就是Precision和Recall画出的曲线。APmAP
2020-12-22 11:11:21
6892
8
原创 目标检测Object Detection下的Precision & Recall和分类问题中的有何不同？
目录一，目标检测中的Precision & Recall一，目标检测中的Precision & RecallPrecision,准确率/查准率 Recall,召回率/查全率Precision=TPTP+FPPrecision= \frac{TP}{TP+FP}Precision=TP+FPTP准确率比较好理解，就是检测出的所有正样本中多少是真正的正样本Recall=TPTP+FNRecall= \frac{TP}{TP+FN}Recall=TP+FNTPReca
2020-12-22 10:48:48
796
原创 《Kaggle Histopathologic Cancer Detection》模型训练的一些记录
乳腺癌Kaggle比赛的这个项目进行了一些实验，项目地址：https://www.kaggle.com/c/histopathologic-cancer-detection/overview使用GTX 1080TI大概训练了100个小时的模型,训练集大概22万张图片，有些相同设定跑过多遍，记录一下测试结果：...
2020-10-20 11:43:10
219
原创 《使用深度神经网络进行图像分类1 - 基础知识树》
我的学习习惯是从抽象到具体，从系统到节点，目前的打算是写20篇左右的博客，把图像分类到物体识别讲清楚，所以先把使用DNN/CNN进行图像分类的总体知识体系进行梳理，画在树上。先搞一个精简版的知识树，帮助自己从最基础的内容开始渐进式巩固和推进内化。制作本图的过程中参考了部分书籍和资料，如下：《深度学习之图像识别 核心技术与案例实战》–言有三《图像处理中的数学修炼》–左飞《机器学习 使用OpenCV和Python进行智能图像处理》 --Michael Beyelerhttps://neuralne
2020-10-20 11:27:31
257
原创 《Kaggle Histopathologic Cancer Detection比赛》之Tensorflow2.0/Keras Eager Execution实现
Kaggle项目地址：https://www.kaggle.com/c/histopathologic-cancer-detection/overview本文记录了一个使用Tensorflow2.0/Keras Eager Execution的实现，数据预处理采用了Tensorflow标准的Dataset的方式：# -*- coding: utf-8 -*-import tensorflow as tfAUTOTUNE = tf.data.experimental.AUTOTUNE # tf.
2020-10-20 11:22:26
155
原创 《Kaggle Histopathologic Cancer Detection癌症图像分类比赛》之Keras/Generator实现
项目地址：https://www.kaggle.com/c/histopathologic-cancer-detection/overview本文记录了自己使用纯Keras以及Keras标准的Generator的数据准备方式:其他实现方式见:Kaggle Histopathology Cancel Detection之Pyorch实现Kaggle Histopathologic Cancer Detection之Keras实现Kaggle Histopathologic Cancer Detect
2020-10-20 11:18:34
338
原创 《Kaggle Histopathologic Cancer Detection癌症图像分类比赛》之PyTorch实现
项目地址：https://www.kaggle.com/c/histopathologic-cancer-detection/overview本文记录了自己使用Pytorch以及Pytorch标准的Dataset的准备方式对同一问题进行了实现：其他实现版本:Kaggle Histopathology Cancel Detection之Pyorch实现Kaggle Histopathologic Cancer Detection之Keras/Generator实现Kaggle Histopathol
2020-10-20 11:16:09
684
原创 《Kaggle Histopathologic Cancer Detection比赛》之Tensorflow Dataset/Keras Model实现
Keras和Tensorflow的结合相当紧密，使用Keras创建模型，然后使用Tensorflow的Dataset喂数据，训练结果保存为Tensorflow的Checkpoint都是可以的，这边给出一个使用tf.Dataset->Keras Model->Checkpoint的实现供参考记录其他使用Pytorch，Keras Generator,Tensorflow2.0的实现方式参考我的其他博文。import numpy as npimport tensorflow as tfimp
2020-10-20 11:09:32
202
原创 ROG Zephyrus G14（幻14）Ubuntu 20.04 双系统安装避坑指南（4800H AMD Nvidia GPU核显独显问题，快捷键Fn键盘灯驱动）
目录1.G14为什么安装Ubuntu 20.04？2.大致步骤3.遇到的问题4.解决问题1.G14为什么安装Ubuntu 20.04？试着安装18.04没有成功，各种问题，AMD这颗4800HS CPU/GPU以及Intel的AX200 Wifi6无线网卡都太新了,20.04至少可以顺利安装运行GNOME.2.大致步骤留出硬盘的free space准备安装Ubuntu下载Rufus和Ubuntu20.04 ISO镜像烧录到U盘里制作启动盘在FreeSpace上建立Ext4分区，挂载到"/“下,
2020-10-02 00:00:30
7198
19
原创 Ubuntu Installing Multiple GCC Versions多个GCC版本安装和切换
This section provides instructions about how to install and use multiple versions of GCC on Ubuntu 18.04. The newer versions of the GCC compiler include support for new languages, better performance and extended features.At the time of writing this articl
2020-09-30 22:01:54
575
原创 Ubuntu apt-get & snap proxy
1sudo apt-get -o Acquire::http::proxy=“http://127.0.0.1:12333/” install six2修改/etc/apt/apt.conf（或者/etc/envrionment），增加Acquire::http::proxy “http://127.0.0.1:12333/”;Acquire::ftp::proxy “ftp://127.0.0.1:12333/”;Acquire::https::proxy “https://127.0.0.1
2020-09-30 21:55:39
596
原创 常用win10，Ubuntu系统安装工具
U盘制作工具rufushttps://rufus.ie/etcherhttps://www.balena.io/etcher/Ubuntu镜像ubuntu18.04镜像：https://releases.ubuntu.com/18.04.5/Window10镜像
2020-09-29 11:27:16
201
原创 Ubuntu 18.04 TensorRT 7从Pytorch生成onnx模型开始跑通第一个SampleONNXMNIST示例（C++）
目录一，一些小问题的解决1.安装CUDA10.22.更新CUDNN到8.0.24.编译安装OpenCV4.4.03.解决/usr/local/cuda/lib64/libcudnn.so.8 is not a symbolic link的问题三，编译安装TensorRT7.1.3四，SampleONNXMNIST示例一，一些小问题的解决1.安装CUDA10.2参考我的另一篇文章cuda安装2.更新CUDNN到8.0.2到https://developer.nvidia.com/rdp/cudnn-
2020-08-09 10:20:24
2060
1
原创 Ubuntu 18.04 qt5 cuda 10.2 cudnn 7.6.5下的OpenCV 4.4.0 C++编译
下载opencv-4.4.0.zipunzip opencv-4.4.0.zipcd opencv-4.4.0.zipmkdir buildcd build安装依赖,参考How to install OpenCV 4.2.0 with CUDA 10.0 in Ubuntu distro 18.04$ sudo apt update$ sudo apt upgrade$ sudo apt install build-essential cmake pkg-config unzip yas
2020-07-31 16:59:06
1090
3
原创 Pandas基本操作
df = pd.read_csv(csv1,names=['name','cat','conf','minx','miny','maxx','maxy'])df2 = pd.read_csv(csv2,names=['name','cat','conf','minx','miny','maxx','maxy'])df3 = df.append(df2)grouped= df3.groupby(['name])for name,group in grouped: print(name) for
2020-07-02 18:13:05
129
原创 Pytorch的一些使用技巧（不定期更新）
1.如果pytorch运行有问题可以查看一下运行环境以及编译的cuda版本等：python -c 'from torch.utils.collect_env import main; main()'示例输出：Collecting environment information... PyTorch version: 1.4.0 Is debug build: No CUDA used to build PyTorch: 10.1OS: CentOS Linux 7 (Core) GCC vers
2020-06-24 10:51:19
383
原创 CentOS7的一些常用操作记录
CentOS7防火墙添加端口firewall-cmd --list-portsfirewall-cmd --permanent --zone=public --add-port=12345/tcpfirewall-cmd --reload
2020-05-08 11:30:09
115
转载 Multiple SSH Keys settings for different github account
Multiple SSH Keys settings for different github accountcreate different public keycreate different ssh key according the article Mac Set-Up Git$ ssh-keygen -t rsa -C "[email protected]"Ple...
2020-03-26 22:52:50
136
原创 CentOS能ping通IP但是无法解析DNS的问题Could not resolve host
最近使用新的GPU服务器遇到Could not resolve host: mirrorlist.centos.org; Unknown error这说明DNS没有配置好先试试能不能ping通IP，如果可以只要设置一下DNS就行了ping 8.8.8.8OK的话修改 /etc/resolv.conf添加：nameserver 8.8.8.8保存，然后yum update...
2020-03-26 22:51:57
1765
1
原创 常用PIP命令
pip freeze > requirements.txtconda listconda env listpip install Shapely-1.6.4.post2-cp37-cp37m-win_amd64.whlpip install six numpy scipy Pillow matplotlib scikit-image opencv-python imageio...
2020-03-26 22:49:16
164
原创 Python Conda的一般使用
创建和使用Conda环境配置文件with your conda environment activated, run the following command to generate dependency yaml file:conda env export > environment_droplet.ymlCommit the yml file, git clone the...
2020-03-26 22:43:55
552
原创 Ubuntu 18.04 及 cuda深度学习环境安装
安装ubuntu 18.04 desktop1.下载镜像https://ubuntu.com/download/desktop2.制作启动u盘如果是Windows就使用etcherhttps://www.balena.io/etcher/或者rufushttps://rufus.ie/制作启动u盘3.开始安装正常安装，记得安装的时候选上第三方驱动之类的4.启动系统这个时候...
2020-03-26 22:39:27
963
原创 解决Linux多个本地用户之间文件共享的问题，文件夹访问Permission Denied
主要思路就是用root权限创建文件夹，然后给文件夹分配用户组的权限，然后把所有需要访问这个文件夹的用户加到这个用户组当中来例如有alex，bob两个用户，互相无法访问对方的home~文件夹，为了共享文件，可以让root用户在/home中创建一个shared文件夹，然后创建一个用户组dev01在root或者sudo下：groupadd dev01创建用户组之后添加文件夹并为文件夹更改组m...
2020-03-26 22:32:42
8775
1
原创 深度学习Object Detection目标检测之《YOLOv3原理详细剖析》
目录综述Object Detection概述理Input&Output 网络的输入与输出Loss Function 损失函数Optimization 优化Backbone Structure 网络结构Evaluation 评价指标文Yolov3 Paper 论文拾遗综述本文之目的在于详细剖析目标检测网络之YOLOv3，我将从作者的Paper，Darknet网络结构，Pytorch的实现...
2020-02-07 19:18:40
3329
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人