机器学习杂记
关注
分享
扫一扫
文章平均质量分 73
机器学习的杂记，体会，及开源库算法的源码解析
高精度计算机视觉
人工智能与视像技术，对技术有点执着
展开
-
AI分割一切模型SAM(Segment Anything Model)的C++部署
2023年最火爆的分割模型莫过于SAM，截止今天2024年1月19日，github上的star已经达到了41.7k的惊人数量。项目中有一个export_pre_model.py文件，我略改了一下，因为我没有用hq-sam，直接用的segment-anything，改后内容如下，安装完毕后，用vscode直接打开segment-anything文件夹，选择要测试运行的amg.py文件，然后cmake生成项目，就可以把项目跑起来了，最后的视频效果如下所示。去下载windows上的动态库，我这里的本机地址是，原创 2024-01-22 11:14:38 · 3105 阅读 · 0 评论 -
无人驾驶数据集
KITTI:官网下载大家都说比较困难， 所以我找了个国内的，感谢作者分享，里面文件都是大个子，https://blog.csdn.net/weixin_43599336/article/details/86533572http://dataset.f3322.net:666/share/kitti/KITTI-Road/Lane Detection Evaluationhttps://bl...原创 2019-08-20 08:47:59 · 1853 阅读 · 1 评论 -
各领域公开数据集下载
各领域公开数据集下载（转过来的，原贴来源不详，未能标注出处。参考：https://blog.csdn.net/c2a2o2/article/category/7194279）使用的数据集THCHS30是Dong Wang, Xuewei Zhang, Zhiyong Zhang这几位大神发布的开放语音数据集，可用于开发中文语音识别系统。为了感谢这几位大神，我是跪在电脑前写的本帖代码。下载...转载 2018-09-29 13:23:13 · 1228 阅读 · 0 评论 -
Google OpenImage 数据集
刚在网上看到，感谢作者分享，这样方便了很多，详情请看原博文OpenImageV4 (占硬盘大小571G)本文链接：https://blog.csdn.net/jkkj1630/article/details/89322482链接: https://pan.baidu.com/s/1FTk3G8pvqRKYgVVB3n2XFQ提取码: 5r2j老版本的入口在这里，https://g...原创 2019-08-23 11:47:58 · 2591 阅读 · 0 评论 -
道路行人数据集汇总(转载)
道路行人数据集汇总(转载)这些数据集没怎么细看，转载过来记录个源头先。1、Caltech Pedestrian Detection Benchmarkhttp://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/加州理工学院行人数据集包含大约10个小时的640x480 30Hz视频，这些视频是通过在城市环境中正常行驶的...转载 2019-08-18 11:31:15 · 3525 阅读 · 0 评论 -
Cuda + cudnn 在Ubuntu18.04上的手动安装
本文是本人的安装记录，因为想做C语言级的调试，整个过程十分麻烦，而且肯定会有记录忽略的地方，不建议大家使用。仅供参考。一般情况下，还是使用anaconda安装NVIDIA Cuda tool kit吧，非常轻松。在某些情况下（比如开发的需要）需要手动安装时，可以参考下面的记录。Step.1 Stop NouveauThe Nouveau kernel driver is current...原创 2019-01-19 17:12:43 · 4020 阅读 · 0 评论 -
Ubuntu18.04上安装cuda10.0
Ubuntu18.04 + cuda (+ Optional Pytorch) Step1: 检查硬件和系统检查版本和类型：ubuntu-drivers devices$ sudo ubuntu-drivers listnvidia-driver-390$ ubuntu-drivers devices== /sys/devices/pci0000:00/0000:00:01....原创 2019-01-10 09:28:05 · 14728 阅读 · 2 评论 -
Ubuntu18.04查看显卡信息并安装NVDIA显卡驱动driver + Cuda + Cudnn
环境搭建01——Ubuntu如何查看显卡信息及安装NVDIA显卡驱动原来的贴子有点老了，这里更新一下，算是一个快速安装的笔记吧！https://blog.csdn.net/tanmx219/article/details/865534851.查看显卡型号输入如下命令：lshw -c video会显示以下信息WARNING: you should run this program as super-user. *-display descri原创 2020-07-26 11:52:28 · 35318 阅读 · 0 评论 -
安装OpenPCDet碰到的问题
Ubuntu18.04重新安装了，现在要把OpenPCDet也重新装上，按照官方的教程来，一路安装好了torch， numpy之类的东西，没碰到问题，之后 开始安装OpenPCDet，然后就碰到了下面的问题，问题1 IndexError: list index out of range(openmmlab) user@MS-7816:~/devAI/OpenPCDet$ python setup.py developNo CUDA runtime is found, using CUDA.原创 2021-12-02 11:15:56 · 8528 阅读 · 2 评论 -
windows10下安装detectron2（最新版maskRCNN）
离最初玩maskrcnn快两年了，detectron2上线后还没尝试过，决定在windows上试一下，地址https://github.com/facebookresearch/detectron2官方明确说没有专门考虑支持windows，但我看了一下issues中的评论，基本上安装还是问题不大。我只碰到两个问题，这里列出来供大家参考。(1) clone到本地git clonehttps://github.com/facebookresearch/detectron2.gitcd de.原创 2020-07-18 23:45:13 · 5157 阅读 · 11 评论 -
Python3.8上安装vtk和mayavi踩坑： Building wheel for mayavi (setup.py) ...
用python3.7时，mayavi貌似很容易安装。现在彩python3.8，发现安装时有下面的问题：。。。。UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 45: ordinal not in range(128) CCompilerOpt._cache_write[796] : write cache to path -> /tmp/pip-install-w8u16lpt/mayavi_95.原创 2021-12-05 00:13:31 · 4799 阅读 · 2 评论 -
EfficientNet Backbone结构解析 -- 以EfficientNet-B0为例说明
一般而言，不论我们是否要将该主干结构用于何种模型，一般都是在这个基础上进行的。例如，将在Yolact中用EfficientNet替换Resnet，可以在同等效果下让模型数据量降为原来的大约1/4到1/5左右。下面我列出一下主干结构。self._conv_stemConv2dStaticSamePadding( (conv): Conv2d(3, 32, kernel_size=(3, 3), stride=(2, 2), bias=False))self._blocks模原创 2021-10-12 21:04:28 · 2860 阅读 · 0 评论 -
Python计算图像数据集的均值与方差（image mean and std)
经常计算不同数据集的均值与方差，于是写了一个用Python + numpy + pytorch计算的例子，源码如下，托管：https://github.com/SpaceView/dataset_conversion_statistics"""# test read flag from opencvflag = [cv2.IMREAD_COLOR, cv2.IMREAD_UNCHANGED, cv2.IMREAD_GRAYSCALE] img_name = os.path.join(原创 2021-10-10 16:29:49 · 3821 阅读 · 3 评论 -
报错ModuleNotFoundError: No module named ‘IPython‘
今天的这个报错比较有意思，在anaconda环境下，ModuleNotFoundError: No module named 'IPython'赶紧测试了一下，发现ipython已经安装且一点问题都没有，(torch) PS D:\vsai\evaluate> ipythonPython 3.8.8 (default, Apr 13 2021, 15:08:03) [MSC v.1916 64 bit (AMD64)]Type 'copyright', 'credits' or 'l原创 2021-10-02 17:01:43 · 16715 阅读 · 1 评论 -
vscode如何安装官方提供的Microsoft.python.language server包？
昨天vscode碰到个错误，没来得及处理，we encountered an issue downloading the language server. Reverting to the alternaitve Jedi. Check the python output panel for details并且，在vscode的output窗口，出现这么个下载地址失败的消息：Source: Python (Extension)Downloading https://pvsc.azureedge原创 2020-06-15 10:16:53 · 7167 阅读 · 0 评论 -
深度学习：图片卷积或滤波器操作后输出大小计算size, stride vs padding
先定义几个参数 输入图片大小 W×W Filter大小 F×F （相当于卷积核大小，也可看作滤波器大小，卷积也是一种滤波） 步长 S（stride) padding的像素个数 P 于是我们可以得出N = (W − F + 2P )/S+1输出图片大小为 N×N备查假设Ｆ为奇数N: 核中心的个数（卷积中心位置所在数据点，图片中就相当于像素...原创 2019-01-08 16:47:03 · 3616 阅读 · 0 评论 -
Happynear Caffe + ECO + VisualStudio2015
这个是以前的ECO (https://github.com/nicewsyly/ECO) 在windows下的编译笔记，也许没啥大用，今天重新打开以前的代码时，同样的问题完全忘记当时怎么处理的了，还是好记性不如烂笔头！所以干脆弄到这里来。因为是以前的，显得有点乱，不想再整理了, 时间有点长，不保证没错误 :-{ 注意事项Ｎo.1 visual studio 版本Please u...原创 2018-10-31 14:18:24 · 785 阅读 · 1 评论 -
caffe源码解析：insertSplits对 top输出到多个 Layer的情况进行分割
作用：对 top输出到多个 Layer的情况进行分割，建立完整的网络结构重要的参数说明举例：layer_idx_to_layer_name[i] 记录各层的名称，如 [0x00000000] "input" blob_name_to_last_top_idx[“conv1”]=(1,0) 这个例子相当于说”conv1” 这层是第1层的第0个top， bottom_idx_to_so...原创 2018-10-08 16:49:01 · 1125 阅读 · 0 评论 -
caffe源码解析：层（layer）的注册与管理
caffe中所有的layer都是类的结构，它们的构造相关的函数都注册在一个全局变量g_registry_ 中。首先这个变量的类型 CreatorRegistry是一个map定义， public: typedef shared_ptr<Layer<Dtype> > (*Creator)(const LayerParameter&); typedef ...原创 2018-10-01 22:25:29 · 1413 阅读 · 0 评论 -
caffe源码解析：网络层的过滤Net<Dtype>::FilterNet及过滤规则StateMeetsRule
过滤规则Net<Dtype>::StateMeetsRule函数作用：StateMeetsRule()中net的state是否满足NetStaterule用构造net时的输入phase/level/stage与prototxt中各层的规则(include/exclude)比较,决定本层是否要包含在net中判断rule是否相同，分为5个判断1. Phase: train, t...原创 2018-10-01 21:04:43 · 971 阅读 · 0 评论 -
YoloV3源码解析：读取label
说明：使用Yolo培训时，如果你使用的是VOC或COCO的文件结构，label按照该结构存放，否则，请把label和图片文件放在同一文件夹里面。Yolov3支持的label结构如下，参考utils.c ==> replace_image_to_label()函数Yolov3是在哪里读取label的呢？过程如下，...原创 2018-09-30 15:31:03 · 4473 阅读 · 3 评论 -
Yolov3源码解析：reorg_cpu
函数原型如下，void reorg_cpu(float *x, int out_w, int out_h, int out_c, int batch, int stride, int forward, float *out){ int b,i,j,k; int in_c = out_c/(stride*stride); //printf("\n out_c = ...原创 2018-09-30 15:18:01 · 1694 阅读 · 1 评论 -
机器学习备注：Yolo训练时输出参数的解释
举例比如某一次的输出结果如下训练log中各参数的意义 5: 10.222071, 10.294983 avg loss, 0.000000 rate, 395.829699 seconds, 320 imagesLoaded: 0.000000 secondsRegion Avg IOU: 0.227881, Class: 1.000000, Obj: 0.381839, No Ob...原创 2018-09-30 18:42:04 · 3281 阅读 · 1 评论 -
Pytorch源码解析－－Ｃ扩展的一个简要说明
版本：Pytorh v1.0， python3.7要了解Pytorch的源码，最好先对CPython有个大致的了解，比如Python的多态是如何实现的。Pytorch的底层源码，很多都用c++实现，例如，torch._C就是一个非常典型的Ｃ＋＋模块，很多对象都会继承“_C”模块里的内容，如，class Tensor(torch._C._TensorBase): def __d...原创 2019-01-30 21:49:20 · 8195 阅读 · 1 评论 -
pytorch源码开发：在Ubuntu中的编译调试(C语言源码级调试)
下载git clone --recursive https://github.com/pytorch/pytorchcd pytorch 非C语言级调试版安装如果不需要C语言高度，用anaconda安装，参考（https://github.com/pytorch/pytorch）过程如下，sudo apt-get install cmake lmdb-utilssudo...原创 2019-01-20 15:30:45 · 2726 阅读 · 2 评论 -
Pytorch 在 Ubuntu18.04 上的编译、安装、与问题
这里主要是develop开发版的编译与安装。如果不是开发版，安装是非常容易的，anaconda已经做得非常到位了，可参考该帖的后面部分,https://blog.csdn.net/tanmx219/article/details/82831964在自己编译的情况下，和官网相比，我每次重新编译总是缺些什么，所以决定记录一下，https://github.com/pytorch/pytorch...原创 2019-01-16 16:49:44 · 6538 阅读 · 0 评论 -
pytorch问题：ModuleNotFoundError: No module named 'torch'
问题今天碰到一个怪问题，明明各种包都已经安装好了，进入python也可以正常使用pytorch，但一进入ipython, jupyter notebook就无法使用pytorch,>>>import torch as t报错：ModuleNotFoundError: No module named 'torch'事发突然，不知何故，硬着头皮重新安装$ co...原创 2019-01-10 10:36:53 · 92593 阅读 · 16 评论 -
Pytorch问题：autograd与backward()及相关参数的理解
关于backward标量的问题问题提出在pytorch的官方教程中，有这么一段（我稍微修改了一些）import torch#x = torch.randn(3, requires_grad=True)x = torch.tensor([-1.0, -0.1, -0.05],requires_grad=True)print(x)y = x * 2index = 0while...原创 2019-01-09 12:48:46 · 11878 阅读 · 5 评论 -
Pytorch cifar10_tutorial.py问题BrokenPipeError: [Errno 32] Broken pipe
问题如果你用windows玩cifar10_tutorial.py,一定碰到过这个问题：BrokenPipeError: [Errno 32] Broken pipe When i :"run cifar10_tutorial.py先给解决方案，参考：https://github.com/pytorch/examples/issues/201分析用IPython运行，事个运行过程...原创 2019-01-09 08:56:56 · 5355 阅读 · 2 评论 -
一些用于练习的几个较小的数据集
---------------------http://www.vision.caltech.edu/archive.htmlhttp://www.vision.caltech.edu/visipedia/CUB-200.htmlhttp://www.vision.caltech.edu/Image_Datasets/Caltech256/---------------------ht...原创 2018-09-29 16:52:56 · 2114 阅读 · 0 评论 -
SIFT算法相关的几个常见疑问
参考博客：SIFT算法的Matlab实现https://www.sun11.me/blog/2016/sift-implementation-in-matlab/SIFT特征详解https://www.cnblogs.com/wangguchangqing/p/4853263.html下面我列一下博客中讲到，但涉及源码时又不够透彻的地方（其实是否透彻还是取决于个人的经验和理解）用到...原创 2018-12-07 10:52:56 · 848 阅读 · 0 评论 -
Pytorch编译maskRCNN问题：cpp_extension.py:189: UserWarning: Error checking compiler version for cl...
先给出两个报错的内容：d:\Anaconda3\envs\torch\lib\site-packages\torch\utils\cpp_extension.py:189: UserWarning: Error checking compiler version for cl: [WinError 2] 系统找不到指定的文件。d:\Anaconda3\envs\torch\lib\site...原创 2019-09-14 16:17:59 · 38127 阅读 · 36 评论 -
Python报错: scipy.misc module has no attribute imread ... imresize
相信用python的朋友都碰到过这样的错误，我已经碰到过无数次了，网上下载跑别人的代码时，scipy.misc module has no attribute “imread”scipy.misc module has no attribute “imresize”所以在这里立一个帖子。当然，废话不多说了，主要原因是因为scipy的版本更新到1.2以后，对pillow的支持渐渐减少，...原创 2019-09-24 18:41:56 · 1236 阅读 · 0 评论