机器学习
关注
分享
扫一扫
落叶_小唱
本人喜欢看书，喜欢了解科技前沿，喜欢计算科学！
展开
-
OpenCV4.4加载TensorFlow1.x版本 Mask R-CNN模型进行推理
opencv中dnn模块的接口可以加载caffe，TensorFlow，darknet和onnx等模型，虽然目前pytorch非常流行，但由于pytorch属于动态图，部署的时候没有静态图方便，虽然可以转换为onnx模型，但个人使用经验来看仍然存在很多接口兼容性问题。使用cv2.dnn.readNetFromTensorFlow加载tf模型算是目前比较好的方法。下面记录采用cv2.dnn.readNetFromTensorFlow接口加载tf1.X版本的预训练模型并实现推理（似乎还不支持tf2.x版本）原创 2020-08-24 21:30:30 · 790 阅读 · 3 评论 -
OpenCV/DLib人脸检测
在python环境下实现人脸检测有多种方式，最简单易用的是使用opencv或者dlib，两者都提供了经典方法和深度学习方法进行人脸检测：opencv haar cascade检测：haarcascade_frontalface_alt.xmlopencv dnn模块加载预训练模型：res10_300x300_ssd_iter_140000_fp16.caffemodel+deploy.prototxt，或者TensorFlow的量化版本opencv_face_detector_uint8.pb+ope原创 2020-08-24 10:40:51 · 1645 阅读 · 0 评论 -
mmdetection-v2.3安装配置及训练自定义数据集
系统：Ubuntu18.04python：3.6.9mmdetection支持非常多的目标检测模型，从经典的Faster RCNN、SSD等，到最新的DetectoRS，还有灵活多变的配置文件，使其成为了目前最流行的目标检测框架之一。项目开发也非常活跃，这对我们用户来说是好事，这意味着拥有更稳定的版本迭代。本文主要记录使用mmdetection2.3版本训练自定义数据集的关键流程，有些细节已经省略，大家酌情参考。安装mmcv-full。mmdetection依赖于mmcv，并且要安装pytorch原创 2020-08-19 18:02:51 · 1637 阅读 · 2 评论 -
OpenCV4.4加载C++版和pytorch版YOLOv3及YOLOv4实现自定义目标检测
opencv在4.4版本添加了对yolov4的支持，网上也有相应的教程，但是目前中文网上的教程大都基于C++实现，或者是用cv2.dnn.readNetFromDarknet.这个比较low-level的接口，此篇将博客记录一种更简单的实现方式，采用·cv2.dnn_DetectionModel 接口（这里笔者笔者不确定4.3版本是否有这个函数）。1.Pre-requestsyolov3.weights, yolov3.cfg（https://github.com/AlexeyAB/darknet下载原创 2020-08-14 23:01:30 · 2796 阅读 · 3 评论 -
Libtorch1.4加载自定义图像分类模型（VS 2019)
环境：win10Visual Studio2019（VC16)OpenCV：4.2（和opencv_contrib以前编译)Libtorch：1.4.0（cpu版本）pytorch：1.4.0python3.7cmake数据集：flower_photos（5种类型）1. 构建分类模型使用torchvision中已有的模型进行迁移学习，构建自定义模型，代码如下：# -*- ...原创 2020-03-04 21:06:13 · 1752 阅读 · 1 评论 -
OpenCV4使用xfeatures相关函数
环境：win10 64python3.7（确保在系统环境变量）GCC:7.3.0( QT5.12.4版本自带，确保在系统环境变量）CMAKE（确保在系统环境变量）opencv 4.2opencv_contrib 4.2诸如SURF,SIFT等算法默认是不包含在opencv中的，需要下载opencv_contrib源码自己手动编译，详细步骤可以参考https://blog.csdn...原创 2020-03-03 23:50:59 · 2082 阅读 · 1 评论 -
SVM，GBM使用CUDA加速
环境：ubuntu18.04(64bits)CUDA:10.1Python3: 3.6.9scikit-learn提供 了基于svm的相关函数，用于处理分类与回归任务；xgboost、lightgbm、catboost等库提供了GBDT，决策树、随机森林等相关函数，但这些都有个问题：面对大数据集时模型训练非常慢。最近因为需要找到了利用GPU加速计算的svm和gbm库：thundersv...原创 2020-01-21 10:26:47 · 6727 阅读 · 5 评论 -
tensorflow2.1错误:Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
系统环境:OS: UBUNTU18.04CUDA:10.1Tensorflow 2.1cuDNN: 7.6.5TensorRT: 6.0.15(tf2.1支持TensorRT6.0)GPU: RTX2080(8G)*2使用新版本tensorflow(2.1支持的CUDA版本为10.1,2.0支持的版本为10.0)时,出现了如下错误(错误复现代码地址:https://github....原创 2020-01-16 21:59:06 · 8389 阅读 · 3 评论 -
pytorch使用torchvision自带fasterrcnn模型训练与测试(Pascal Voc与Coco数据集)
参考项目地址:https://github.com/lpuglia/torchvision_voc参考链接:[1]https://github.com/pytorch/vision/issues/1116[2]https://pytorch.org/docs/stable/_modules/torchvision/models/detection/faster_rcnn.html[3]ht...原创 2019-10-21 11:15:14 · 11045 阅读 · 5 评论 -
Scikit-learn朴素贝叶斯方法简单文本处理（垃圾邮件分类和情感分类）
参考链接：http://blog.lisp4fun.com/2018/03/09/bayeshttps://www.kaggle.com/nnitiwe/spam-detection-with-sklearn数据集在kaggle网站下载'''垃圾邮件识别'''from sklearn.feature_extraction.text import CountVectorizerf...原创 2019-10-20 22:40:32 · 2116 阅读 · 0 评论 -
hanlp自定义词典进行分词、关键词提取和摘要提取
系统：Windows10 64Python版本：3.7.2hanlp版本：0.1.50本博文主要介绍使用使用中文自然语言处理库hanlp自定义词典进行分词、关键词提取和摘要提取，运行环境为Windows。1. Hanlp安装LinuxLinux系统下安装需要注意使用管理员权限，同时要安装java：$ sudo apt install openjdk-11-jdk$ sudo p...原创 2019-10-20 19:19:25 · 5167 阅读 · 0 评论 -
微分方程解法器（软件）比较以及DifferentialEquations.jl简单例子
参考链接：https://github.com/JuliaDiffEq/DifferentialEquations.jlhttp://www.stochasticlifestyle.com/category/programminghttps://julialang.org/blog/2019/04/fluxdiffeq-zh_tw可以看到Julia的ODE求解器Differentia...原创 2019-09-03 10:31:57 · 4190 阅读 · 0 评论 -
Linux/Windows编译安装dlib及注意事项
DLIB:19.17版本CUDA：9.0cuDNN: 7.6.0安装步骤：下载dlib，解压Linux环境安装步骤cd dlibmkdir buildcd buildcmake .. -DDLIB_USE_CUDA=1 -DUSE_AVX_INSTRUCTIONS=1make -j12Windows环境安装步骤使用cmake-gui配置编译环境，在使用VS或者min...原创 2019-08-08 10:37:03 · 790 阅读 · 0 评论 -
关于torchvision加载数据集的小问题
现有以下完整程序可以成功加载数据集，使用ImageFolder函数：import torchimport torchvisionimport matplotlib.pyplot as pltfrom torchvision import transforms,utilsimport numpy as np# 使用ImageFolder需要保证数据集以下列形式组织：'''root/d...原创 2019-07-09 14:08:38 · 3242 阅读 · 0 评论 -
PASCAL VOC2007&2012数据格式转coco格式
#!/usr/bin/python3# pip3 install lxmlimport sysimport osimport jsonimport xml.etree.ElementTree as ETSTART_BOUNDING_BOX_ID = 1PRE_DEFINE_CATEGORIES = {}# If necessary, pre-define category ...原创 2019-06-06 10:32:07 · 3364 阅读 · 0 评论 -
GAN的简单思考及实例
参考资料：https://morvanzhou.github.io/tutorials/详细说明已在程序注释给出。"""View more, visit my tutorial page: https://morvanzhou.github.io/tutorials/My Youtube Channel: https://www.youtube.com/user/MorvanZhouD...原创 2019-05-28 12:28:44 · 947 阅读 · 0 评论 -
Graphviz使用注意事项
系统环境：win10 64bit 工具：Graphviz, Notepad++关于Graphviz的介绍就不多说了，官网下载安装即可，安装后手动将程序所在文件目录添加到系统环境变量，然后打开控制台窗口才能使用dot,neato等程序。dot 渲染的图具有明确方向性。neato 渲染的图缺乏方向性。twopi 渲染的图采用放射性布局。circo 渲染的图采用环型布局。fdp 渲染的图缺乏方向原创 2017-02-17 11:33:31 · 5187 阅读 · 0 评论 -
Python KMeans聚类分析
今天用python实现了一下简单的聚类分析，顺便熟悉了numpy数组操作和绘图的一些技巧，在这里做个记录。from pylab import *from sklearn.cluster import KMeans## 利用numpy.append()函数实现matlab多维数组合并的效果，axis 参数值为 0 时是 y 轴方向合并，参数值为 1 时是 x 轴方向合并，分别对应matlab [A原创 2016-12-30 10:41:31 · 9369 阅读 · 0 评论 -
基于OpenCV的人脸检测——C++和Python实现
弄了一天终于实现了简单的人脸识别，参考学习的书籍《OpenCV图像处理编程实例》里的代码并不合适，可能是我并没有完全照抄书上的程序的原因，但是《OpenCV3计算机视觉Python语言实现》一书中关于人眼检测那部分代码也是不行的，最后经过自己的简单修改才实现的最后效果。 本来之前用着VS2013 Pro(版本VC12)的，但是前几天电脑中毒了系统环境变量PATH全没了，VS2013也打不开，重原创 2017-01-21 20:41:50 · 4889 阅读 · 1 评论 -
keras数据下载(数据集及模型文件）
1、数据集 keras自带有一些获取数据集的函数，如果程序运行时还没有数据集的话会先通过网络下载，这样增加了程序运行时间，而且容易下载失败，因此直接查看源代码，找出数据集文件地址，使用Linux下多线程下载工具FlreGet 进行下载。（1）首先查看keras的安装目录，其下有个datasets 文件夹 （2）随便点击一个文件，比如cifar.py ，查看代码： (3)找到文件...原创 2018-03-03 01:08:26 · 15541 阅读 · 2 评论 -
SVD分解图片重构计算
查看scipy cheet sheet的时候看到了svd矩阵分解，写了个简单的分解图像并且重构应用。SVD的帮助文档在numpy里面比较齐全，可以同时参考两边的 (1)https://docs.scipy.org/doc/numpy-1.14.0/reference/generated/numpy.linalg.svd.html (2)https://docs.scipy.org/doc/sc...原创 2018-08-18 22:56:59 · 4392 阅读 · 0 评论 -
Windows安装pycocotools出现错误“cl: 命令行 error D8021 :无效的数值参数“/Wno-cpp””解决办法
Windows安装pycocotools出现错误“cl: 命令行 error D8021 :无效的数值参数“/Wno-cpp””的解决办法如下：有大神已经做好了windows版本的安装包，进入下面链接https://github.com/philferriere/cocoapi按照作者README文件的教程即可，翻译出来便是下面几点：（1）进入Microsoft官网，搜索下载安装 Vi...原创 2018-10-07 22:00:08 · 7466 阅读 · 7 评论 -
Win10配置CUDA10+cuDNN7（pytorch，tensorflow-gpu）记录
电脑：联系M4400，双显卡（集显和独显），开机过程长按F1进入BIOS，在设置显卡那里要选择独显类型（看英文提示选择）环境：Python 3.6.5，pip方式安装包（使用的是winpython，轻便，Anoconda太大了，安装还特别慢）显卡：GTX GT 730M(Laptop)，很老的显卡，2013年出的，显存2G，CUDA核384个系统：win10 64位cudnn下载地址(需要...原创 2018-12-19 15:40:34 · 6705 阅读 · 8 评论 -
Keras错误：ValueError: expected dense_2 to have shape (10,) but got array with shape (1,)
对keras模型进行编译，当loss是categorical_crossentropy的时候，model.compile(loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers.Adadelta(), metrics=['accuracy'])需要将l...原创 2018-12-18 15:04:34 · 28059 阅读 · 2 评论 -
conda SSL错误 SSLError("Can\'t connect to HTTPS URL because the SSL module is not available.解决办法
系统：win10miniconda: 3.7.1 64bita安装完miniconda之后，使用conda包管理器安装包出现了多种问题，最开始是源的问题，这个问题网上很多，解决了这个问题之后还有一个问题是SSLError("Can\'t connect to HTTPS URL because the SSL module is not available. ，笔者的.condarc文件内容如...原创 2019-04-10 14:18:04 · 30490 阅读 · 43 评论 -
Linux命令行查看NVIDIA显卡状态——nvtop软件
系统：Ubuntu18.04gcc：7.4.0nvtop: https://github.com/Syllo/nvtop本文推荐一款查看英伟达显卡状态信息的命令行工具，不要每次都敲nvidia-smi查看。工具所在github项目地址在前面给出，支持多种Linux发行版，笔者使用的是Ubuntu18.04。该工具需要自己下载源码编译，需要先安装cmake，编译过程很简单，这里就不过多介绍...原创 2019-04-08 19:34:02 · 10173 阅读 · 0 评论 -
ipython/notebook设置图像svg格式
%matplotlib inline%config InlineBackend.figure_format = 'svg'import matplotlib.pyplot as plt参考连接：https://stackoverflow.com/questions/17582137/ipython-notebook-svg-figures-by-default原创 2019-04-09 15:55:54 · 2041 阅读 · 0 评论 -
torchvision教程（1）：utils中的两个函数make_grid和save_image
OS:Win10pytorch:1.1.0torchvison:0.3.0python:3.7.3(Anaconda)准备开始系统学习pytorch，先从torchvision入手研究。torchvision安装目录结构. |-- _C.cp37-win_amd64.pyd |-- __init__.p...原创 2019-05-26 21:39:11 · 6027 阅读 · 0 评论 -
MATLAB神经网络学习手札（1）
接触MATLAB神经网络有一段时间了，但由于是自己业余学习的一直没有认真学下去，这几天又捣鼓了一下，下面是基于MATLAB2016a的环境下厕所的简单曲线拟合实验首先需要了解几个重要的函数 fitnet(hiddenSizes,trainFcn) configure(net,x,t) sim('model', ConfigSet) [net,tr]=train(net,inpu原创 2016-04-17 14:46:47 · 851 阅读 · 0 评论