Deep Learning
机器学习、深度学习相关知识学习,代码实践
_less is more
这个作者很懒,什么都没留下…
展开
-
ImageNet-1k 测试集 两大坑
不然就会浪费一次提交机会,直接提交submission.txt就可以,注意每排5个预测结果,用于计算top5 error。2、用torchvision自带的imagenet dataset类加载进来的数据的类别标签,)但torchvision自动给你弄成。1、官方网站提交test set标签时,,但是他们的类别id不一样!以chickadee 山雀为例。这是torchvision的。他们的WNID都一样,原创 2024-06-16 18:29:03 · 359 阅读 · 0 评论 -
pytorch模型参数名字
如下是一个模型输出片段,来自magicAnimate,该模型称把unet网络换成了3D的,也可以看到如下的resent block命名也是ResnetBlock3D,里面的convolution也是InflatedConv3d。其实就是虽然magicAnimate的这些类叫3D,但其实背后都是用的2D的convolution,所以模型参数是可以一一对应上的,因此他们只需要把。这时候这个模块的名字则会使用python变量的名字,即conv1,relu1,conv2,relu2。原创 2023-12-08 12:29:03 · 221 阅读 · 0 评论 -
diffusion model 训练经验笔记
最好是找一个最大的range比如-1024到3000,preprocessing的时候不能用min max来normalize,而直接用这个-1024和3000定值来normalize,这样diffusion model预测出来后才能使用相同的定值来de-normalize回原来的范围。4、3D的medical data,如果直接分割成小的3D块来训练,模型收敛有困难,可能需要更大的模型来支持。可以考虑直接预测2D或者2.5D。2、训练batch size大一点好,至少大于200,256即可。原创 2023-08-02 07:59:28 · 350 阅读 · 0 评论 -
【HR-VITON】虚拟换衣算法pre-processing复现全过程记录
【代码】【HR-VITON】虚拟换衣算法pre-processing复现全过程记录。原创 2023-01-01 06:14:46 · 7479 阅读 · 17 评论 -
pytorch各种报错个人笔记
可能有多种原因1、以 ‘_’ 结尾的函数2、+=、/=这样的操作3、激活函数如 torch.nn.ReLU(inplace=True)如果是第二种,把 a += b 换成 a = a + b 即可,第三种则置inplace为False;若是第一种则麻烦一点,需要找替代函数或者自己实现该函数的功能......原创 2022-07-05 00:58:54 · 1125 阅读 · 0 评论 -
pytorch分布式训练详解
1、CPU核心/线程假设一个4核心8线程CPU,每个核心支持2个线程。对于一个核心来说,不论线程支持多少,总是同一时间只能运行一个线程,利用时间片分割,进行线程间的切换,所以在一个核心上的多线程本质不是并行,只是并发。这种情况下,多线程不一定比单线程快,因为线程间的切换以及可能涉及的互斥锁等问题,都可能导致时间消耗更大,程序运行反而更慢。但也有特殊情况,比如用python写爬虫,假设一个python程序运行在一个CPU核心上,也就是只能利用多线程。此时请求不同的url,因为每次请求后都会有等待,才能接收到原创 2022-07-03 00:42:12 · 1132 阅读 · 0 评论 -
COCO数据集(Common Objects in COntext)
COCO数据集介绍原创 2022-07-01 06:54:43 · 1305 阅读 · 0 评论 -
基于OpenCV和C++原生(JNI)的Android数字图像处理+人脸识别demo
实现的功能:Java: 灰度, 模糊, 二值化, Canny边缘提取, 颜色直方图, Matrix风格化C++: 灰度, 模糊, 二值化, Canny边缘提取, Matrix风格化视频(支持前后置): 人脸检测, Canny边缘提取, 动态颜色直方图项目地址https://github.com/lujiazho/Android_Opencv_JNI_ImgProcessing欢迎收藏部分截图:...原创 2022-04-19 07:47:28 · 5123 阅读 · 1 评论 -
mediapipe演示(javascript版)
MediaPipe 是 Google 的开源框架,前段时间进行了一番探索,发现此开源非常良心,而且包含了篇各种应用教程:Android、iOS、Python、JavaScript、C++为了好玩儿,也希望最后的效果能被家里人也体验到,于是打算试用JavaScript版本,这样便能将其嵌入个人网站,并且是以静态网页的方式进行呈现,对于贫困如我没办法自己租赁服务器的同学们来说是再好不过了,这样基于GitHub搭建的网站也能进行功能的展示了体验网址注:点击进入网页后检测到人脸会有声音警报,这是之前进行的原创 2022-03-26 07:45:47 · 2751 阅读 · 9 评论 -
动手搭建简易深度学习框架(一维无batch)
目录1 拓扑排序2 框架主体3 调用函数4 使用案例4.1 引用包4.2 训练4.3 可视化4.4 预测1 拓扑排序# 每次排的都不一样def toplogic(graph): sorted_node = [] while len(graph) > 0: all_inputs = [] all_outputs = [] for n in graph: all_inputs.app原创 2021-02-07 22:25:55 · 271 阅读 · 0 评论 -
jupyterlab使用tqdm_notebook不显示进度条(解决一半)
在stack overflow上看到,如下两条命令使用后是有效的jupyter nbextension enable --py widgetsnbextensionjupyter labextension install @jupyter-widgets/jupyterlab-manager但当我使用第二条命令时,提示我定位不到这个插件schemaDir is empty: "./schema"经过搜索发现是因为jupyter lab版本不够需要Jupyter Notebook>=原创 2021-01-06 21:16:38 · 2301 阅读 · 0 评论 -
python直接将list形式的str类型转化成list类型
最近在做数据处理,将CSV的bbox转化成yolo5所支持的label,然后中途遇到这个问题解决方案:如图直接使用json.loads则可将str类型的row[3] = '[12, 23, 41, 24]'转化成list类型row[3] = [12, 23, 41, 24]粘贴:import jsonstring = '[12, 23, 41, 24]'list_ = json.loads(string)print(type(list_))print(list_)运行结果:原创 2020-12-22 15:10:15 · 1043 阅读 · 3 评论 -
CUDA理解
CUDACUDA是英伟达开发的一套平行计算平台,使程序应用的运行和计算可以使用GPU(仅限于NVIDIA的GPU,其他的如AMD并不支持),加快计算速度,如Tensorflow、百度Paddle的开发语言都包含CUDA,因此才能在训练模型时选择是否使用GPU训练;并为标准编程语言提供一组扩展,比如C和C++。因此使用CUDA C/C++能够调用平行计算编程库,使开发者更专注于并行计算的效率提升CUDA的使用需要满足一定的硬件条件,首先是支持CUDA的GPU,这里可以查看自己的Windows是否有这样的G原创 2020-11-24 16:42:00 · 573 阅读 · 0 评论 -
python深度学习模型训练数据以及评估参数对比可视化
效果展示准确率Kappa系数:kappa系数考虑了不同类别的样本数,若样本分布差异大,则Kappa系数将偏低,因此更加科学海明距离杰卡德相似系数代码展示import pandas as pdimport osimport matplotlib.pyplot as pltAlexNet_path = './AlexNet_eval_TestData.csv'DNN_path = './DNN_eval_TestData.csv'LeNet_path = './LeNet_eval原创 2020-06-23 21:18:20 · 1641 阅读 · 3 评论 -
python深度学习模型训练数据平滑处理
效果展示代码展示import pandas as pdimport matplotlib.pyplot as pltplt.subplot(2,2,2)pd.Series(accs_train, index=iters).ewm(span=10).mean().plot(label='EMA_train_accs')pd.Series(accs_train, index=iters).plot(label='train_accs')原创 2020-06-23 21:12:30 · 1696 阅读 · 0 评论 -
python实现Kappa系数、海明距离、杰卡德相似系数、混淆矩阵等多分类评估方法
目录Kappa系数海明距离杰卡德相似系数混淆矩阵Kappa系数手写实现def kappa_cal(matrix): n = np.sum(matrix) sum_po = 0 sum_pe = 0 for i in range(len(matrix[0])): sum_po += matrix[i][i] row = np.sum(matrix[i, :]) col = np.sum(matrix[:, i])原创 2020-06-23 21:01:53 · 3431 阅读 · 0 评论 -
paddlepaddle框架5种模型实现车牌识别
模型目录ResNet模型DNN模型LeNet模型AlexNet 网络结构VGG模型ResNet模型####################### ResNetimport numpy as npimport argparseimport astimport paddleimport paddle.fluid as fluidfrom paddle.fluid.layer_helper import LayerHelperfrom paddle.fluid.dygraph.nn impor原创 2020-06-23 20:50:13 · 917 阅读 · 0 评论 -
PaddlePaddle clone报错的坑
常见错误:EnforceNotMet: Invoke operator mul error.Python Callstacks:File “/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddle/fluid/framework.py”, line 1771, in append_opattrs=k...原创 2020-04-09 15:07:18 · 731 阅读 · 2 评论 -
PaddlePaddle 7日训练营CV疫情特辑总结
PaddlePaddle 7日训练营CV疫情特辑总结什么是paddle paddle?7日训练营CV疫情特辑Day 1:新冠疫情可视化一、数据准备部分代码展示二、疫情地图三、成果展示非常漂亮有木有!!!!Day 2 ~ Day 6:成果展示手势识别车牌识别口照分类PaddleSlim模型压缩我们这次项目涉及到的就是对模型进行无损量化结果展示Finally:Day 5 比赛——人流密度检测感想与心得...原创 2020-04-07 20:30:38 · 346 阅读 · 1 评论