自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(95)
  • 资源 (1)
  • 问答 (1)
  • 收藏
  • 关注

原创 机器学习和深度学习训练常见问题

1. 如何解决正负类不平衡问题类别不均衡时,不能使用accuracy作为分类器的评价指标。例如:当在对一个类别不均衡的数据集进行分类时得到了90%的准确度(Accuracy)。当你进一步分析发现,数据集的90%的样本是属于同一个类,并且分类器将所有的样本都分类为该类。在这种情况下,显然该分类器是无效的。并且这种无效是由于训练集中类别不均衡而导致的。因此即使分类器将所有的样本都分类到大类下面时,该指标值仍然会很高。即,该分类器偏向了大类这个类别的数据。例如下面这个图:[外链图片转存失败,源站可能有防盗链

2020-10-28 05:32:50 67

原创 神经网络中各种优化器介绍

1. SGD1.1 batch-GD每次更新使用全部的样本,注意会对所有的样本取均值,这样每次更新的速度慢。计算量大。1.2 SGD每次随机取一个样本。这样更新速度更快。SGD算法在于每次只去拟合一个训练样本,这使得在梯度下降过程中不需去用所有训练样本来更新Theta。BGD每次迭代都会朝着最优解逼近,而SGD由于噪音比BGD多,多以SGD并不是每次迭代都朝着最优解逼近,但大体方向是朝着最优解,SGD大约要遍历1-10次数据次来获取最优解。但是 SGD 因为更新比较频繁,会造成 cost func

2020-10-28 05:26:30 31

原创 Cross_entropy和softmax

1. 传统的损失函数存在的问题传统二次损失函数为:J(W,b)=12(hW,b(x)−y)2+λ2K∑k∈Kwij2J(W,b)=\frac 12(h_{W,b}(x)-y)^2+\frac \lambda{2K}\sum_{k \in K}w_{ij}^2J(W,b)=21​(hW,b​(x)−y)2+2Kλ​k∈K∑​wij2​权重和偏置的迭代方程为:KaTeX parse error: No such environment: align at position 8: \begin{̲a

2020-10-28 05:16:36 12

原创 pytorch模型可视化

1. 使用dot1.1 安装graphviz和torchvizsudo apt-get install graphvizsudo pip install torchviz1.2 使用torchvizimport torchfrom torch import nnfrom torchviz import make_dot, make_dot_from_trace# Visualize gradients of simple MLP# The method below is for bu

2020-10-27 11:28:18 46

原创 pycharm导入本地py文件

pycharm导入本地文件时出现错误标志unresolved reference但是运行时不报错,可以在要导入文件的目录上右击,然后选择标志为sources root:

2020-10-23 03:52:47 36

原创 windows安装caffe

caffe windows上有教程,但是有几点没有详细说明。1. 安装vc编译器安装vc编译器后,在cmakelist.txt中设置使用vc编译器而不是gcc:set(CMAKE_C_COMPILER "D:/Microsoft Visual Studio 12.0/VC/bin/cl.exe")set(CMAKE_CXX_COMPILER "D:/Microsoft Visual Studio 12.0/VC/bin/cl.exe")2. 安装boost在boost官网上下载exe安装文件。

2020-10-17 17:09:14 23

原创 scikit-learn中常见的train test split

1. train_test_split进行一次性划分import numpy as npfrom sklearn.model_selection import train_test_splitX, y = np.arange(10).reshape((5, 2)), range(5)"""X: array([[0, 1], [2, 3], [4, 5], [6, 7], [8, 9]])lis

2020-09-29 12:01:56 34

原创 opencv-python教程

1. 加bound boxgray-scaleimg = cv2.rectangle(img, (point_1_x, point_1_y), (point_2_x, point_2_y), color=img.max(), thickness=1)plt.imshow(img, cmap="gray")如果想在gray-scale上加彩色bounding box:img = np.dstack([img_arr, img_arr, img_arr])*255 # img_arr为[0,

2020-09-29 10:09:42 12

原创 图像的腐蚀(erosion)和膨胀(dilation)

其实就是定义一个连通规则(structure),用该连通区域在图像上stride, 用连通区域内的最小或者最大值代替原来的值。(边界上只覆盖部分值)1. 腐蚀(erosion)构造如下的连通区域:构造图像:img = np.array([ [125, 190, 11, 190], [141, 234, 21, 67], [165, 234, 31, 189], [112, 12, 41, 56] ], dtype='uint8')kernel = np

2020-09-22 09:52:36 89

原创 tqdm教程

tqdm是python中打印进度条的一个简易工具包,可以方便查看循环的进度。具体见tqdm文档1. 搭配迭代器使用from tqdm import tqdmfor i in tqdm(range(10000)): passtqdm的构造函数为:tqdm(iterable=None, desc=None, total=None, leave=True, file=None, ncols=None, mininterval=0.1, maxinterval=10.0, miniters

2020-08-18 09:00:21 243

原创 f-string学习指南

f-string是python3.6以上的版本中支持的一个非常直观的格式化字符串工具。在数字位数不够的前面加0print(f"{14:0>3}")# output: 014

2020-08-14 09:05:16 51

原创 python setuptools工具包的使用

1. setuptools的基本使用python的setuptools是用来将自己写的模块打包,然后生成.egg文件或者安装到site-packages目录下,然后就可以在文件中直接使用import来导入该包。使用方法如下:from setuptools import setup, find_packagessetup( name="pkg_name", version="1.0", packages=find_packages(), description="description",

2020-07-31 14:29:59 100

原创 windows下pip安装某些库遇到错误error: Microsoft Visual C++ 14.0 is required

windows下使用pip安装遇到如下错误:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": https://visualstudio.microsoft.com/downloads/解决办法:需要安装C++编译器。windows下推荐visual studio。安装完成之后,讲C++编译器所在目录添加至环境变量,一般路径为 Microsoft Visual Studi

2020-06-10 14:20:44 107

原创 PyTorch入门

详见官方文档: pytorch1. PyTorch中的Variable和TensorPyTorch中的Tensor就是一个高维数组,类似于numpyarray。而Variable是对Tensor的一个封装,有3个对应的属性:v.data对应的是tensor本身,v.grad是对应的tensor的梯度以及v.grad_fn。###2. PyTorch中的主要模块torch: 顶层PyTroch包和tensor库torch.nn: 构建神经网络的子库torch.autograd: 支持可微tens

2020-06-10 03:14:00 104

原创 神经网络中各种优化器简介

1. SGD1.1 batch-GD每次更新使用全部的样本,注意会对所有的样本取均值,这样每次更新的速度慢。计算量大。1.2 SGD每次随机取一个样本。这样更新速度更快。SGD算法在于每次只去拟合一个训练样本,这使得在梯度下降过程中不需去用所有训练样本来更新Theta。BGD每次迭代都会朝着最优解逼近,而SGD由于噪音比BGD多,多以SGD并不是每次迭代都朝着最优解逼近,但大体方向是朝着最...

2020-04-15 06:39:38 495

原创 机器学习和深度学习相关问题总结

1. 如何解决正负类不平衡问题类别不均衡时,不能使用accuracy作为分类器的评价指标。例如:当在对一个类别不均衡的数据集进行分类时得到了90%的准确度(Accuracy)。当你进一步分析发现,数据集的90%的样本是属于同一个类,并且分类器将所有的样本都分类为该类。在这种情况下,显然该分类器是无效的。并且这种无效是由于训练集中类别不均衡而导致的。因此即使分类器将所有的样本都分类到大类下面时,该...

2020-04-15 06:20:30 197

原创 Linux下make命令和makefile简介

makefile类似于windows下的Visual Studio等IDE。工程中由于源文件很多,可能存放于不同文件夹,因此makefile定义了一些规则,哪些文件先编译,哪些文件后编译等等其他复杂操作。makefile类似shell脚本,可以运行操作系统命令。当makefile写好后,只需要一个make命令,整个工程会自动编译,能极大提高开发效率。make是一个能解释makefile指令的命令...

2019-12-04 03:37:38 50

原创 windows磁盘文件删不掉

当磁盘中有文件删不掉,并且会有一些纯数字的文件和目录再生的时候。或者出现the file or directory is corrupted and unreadable。此时需要输入一下命令:chkdsk/f H: #(H是盘符)然后再删除文件或文件夹就可以了。...

2019-04-26 19:37:42 613

原创 Mask RCNN详解

论文原文:Mask R-CNN1. RoI Align方法1.1 RoI Pooling局限性分析在常见的两级检测框架(比如Fast-RCNN,Faster-RCNN,RFCN)中,ROI Pooling 的作用是根据预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图,以便进行后续的分类和包围框回归操作。由于预选框的位置通常是由模型回归得到的,一般来讲是浮点数,而池化后的特...

2018-06-22 00:19:56 5361

原创 TensorFlow Objection Detection API使用教程

安装参考官方教程注意在安装的时候需要将protoc升级到3.*版本,否则编译将不能成功。可能报以下错误:cannot import name 'preprocessor_pb2'cannot import name string_int_label_map_pb2Import "object_detection/protos/ssd.proto" was not found or ha...

2018-05-09 14:00:41 5824 1

原创 imgaug学习笔记

imgaug是一个封装好的用来进行图像augmentation的python库,支持关键点(keypoint)和bounding box一起变换。项目主页: imgaug doc1. 安装和卸载# 通过github安装sudo pip install git+https://github.com/aleju/imgaug# 通过pypi安装sudo pip install ...

2018-04-29 14:02:10 26606 7

原创 matplotlib学习笔记

1. figure一张图就是一个figureimport matplotlib.pyplot as pltplt.figure() # 创建一个画图窗口每通过plt.figure()创建一个画图窗口至再次创建一个画图窗口前,画出的所有图形都在这个figure中。例如:plt.figure()plt.plot().....plt.figure()plt.plot...

2018-04-28 19:20:33 322

原创 U-Net

论文原文: U-Net: Convolutional Networks for Biomedical Image SegmentatioU-Net整体继承自FCN。在FCN原来的基础上经过了一些改进,使之更适合处理医学图像。1. 网络结构 基本的网络结构与FCN差不多。左边是contracting path,右边是expanding path。刚开始原始图像的大小为:512×51...

2018-04-17 21:12:55 1151

原创 FCN

论文原文: Fully Convolutional Networks for Semantic SegmentationFCN是第一次真正地将CNN用到了semantic segmentation上,由UC Berkeley发明。FCN的主要贡献是提出了一种Transpose Conv的方式,将分辨率小的feature map映射到分辨率大的feature map上,并将高层次的、粗粒度特征和...

2018-04-17 21:11:23 596 1

原创 YoLo

论文原文: You Only Look Once: Unified, Real-Time Object Detectionyolo的过程非常简单。就是每次输入一整张的图片,文中作者选择resize到了448×448448×448448\times 448。然后输出是147014701470维的向量。其中1470=7×7×(20+2×5)1470=7×7×(20+2×5)1470=7\times...

2018-04-17 21:07:29 296

原创 Faster RCNN

论文原文: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksFaster RCNN的最大贡献是去掉了Selective Search来进行Region Proposal的生成,转而使用RPN(Region Proposal Network)来生成区域候选框。Faster RCNN的整...

2018-04-17 21:04:52 217

原创 Fast RCNN

论文原文地址为: Fast R-CNN1. RoI Pooling详解RoI Pooling其实是SPP pooling的一种特殊情况。SPP pooling可以采用多个金字塔层,RoI只采用一种。具体做法为: 对于映射到feature map上的RoI(Region Proposal通过变换得来),假设该RoI大小为h×wh×wh\times w,RoI Pooling的输出为H×WH×...

2018-04-17 21:01:02 183

原创 SPP Net

原文地址:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual RecognitionSppNet的贡献主要有两个: + 引入空间金字塔池化(SPP, Spatial Pyramid Pooling),允许模型接受不同大小的输入,最后能产生相同大小的输出。这样后面就可以进行多尺度训练。 + 根据ZFNet的思想,...

2018-04-17 20:58:18 555

原创 RCNN

论文原文地址: Rich feature hierarchies for accurate object detection and semantic segmentationRCNN的全称是Regions with CNN features。整个方法的大致思路是先用Selective Search来生成2000个bounding box。然后利用AlexNet对这些Region提取特征,注意...

2018-04-17 20:55:57 791

原创 Selective Search

论文原文地址: Selective Search for Object Recoginition文章主要介绍了选择性搜索(Selective Search)的方法。物体识别(Object Recognition),在图像中找到确定一个物体,并找出其为具体位置,经过长时间的发展已经有了不少成就。之前的做法主要是基于穷举搜索(Exhaustive Search),选择一个窗口(window)扫描整...

2018-04-17 20:53:31 145

原创 GBIS

论文原文: Efficient Graph-Based Image Segmentation最近看RCNN,里面用到了Selective Search来产生region proposal。Selective Search用到的方法就是本文中提到的产生Region的方法。即:基于图的贪心聚类算法。该算法实现简单,速度较快。1. 图像分割图像分割的主要目的就是将图像(image)分割成若干...

2018-04-17 20:50:45 281

原创 解决nvidia升级驱动后版本匹配问题

下载NVIDIA-Linux-x86_64-390.12.run文件安装之后(为了支持cuda 9.0),发现出现下面的错误: Failed to initialize NVML: Driver/library version mismatch因为之前安装了384.111版本的驱动,升级后可能存在不兼容等情况。解决办法是先卸载掉所有nvidia驱动。然后再安装。卸载办法为:sudo ...

2018-04-16 21:20:52 6965

原创 pycharm出现no module named caffe

最近使用caffe的时候遇到一个问题。终端下面能够使用caffe,但是pycharm远程调试的时候一直提示no module named caffe。尝试了很多办法,下面的一个work:Open PycharmGo to File –> settings –> project interpreter Open the bar with all the possible in...

2018-03-20 17:37:37 1513 2

原创 常见CNN网络结构的详解和代码实现

1. AlexNet论文地址:ImageNet Classification with Deep Convolutional Neural Networks 2012年提出的AlexNet的网络结构为: 结构说明如下:1.1 ReLu(Rectified Linear Units)激活函数:Relu函数为 relu(x)=max{0,x}={xyx≥0x=0relu(x)...

2018-01-29 21:13:00 23854 8

原创 ubuntu修改软链接

添加软连接(symbol link)相当于添加一个快捷方式,解决cannot open shared object file: No such file or directory问题。sudo ln -s source targetsudo ldconfig /usr/local/cuda/lib64

2018-01-29 20:08:42 4974

原创 绘制Caffe prototxt中网络结构图

1. 安装相关依赖安装caffe安装graphvizsudo apt-get install graphviz # 未安装可能出现 OSError: [Errno 2] "dot" not found in path.安装pydotsudo pip install pydot2. 绘制图进入到prototxt所在目录下绘图python /p

2018-01-18 22:09:15 873

原创 ubuntu server配置静态ip

1. 查看设备上的所有网卡ifconfig -a2. 编辑网卡文件sudo vim /etc/network/interfaces3. 重启网卡sudo /etc/init.d/networking restart4. 开启或关闭某网卡ifdown eno2ifup eno1此时使用如下命令查看到的就是被启用的网卡ifconfi

2018-01-09 16:56:58 644

原创 pycharm远程调试配置

1. 安装pycharm-debug.eggpycharm要实现远程调试,需要安装远程调试需要的安装包pycham-debug.egg(如果是python3,该文件为pycharm-debug-py3k.egg),通常位于pycharm安装目录下的”debug-eggs/”目录下。将该egg包拷贝到远程linux服务器上,使用easy_install来安装该包:easy_install pychar

2017-12-18 14:23:50 2097

原创 ubuntu安装caffe

ubuntu安装caffe目前caffe只支持python2,所以使用caffe的童鞋们请使用python2安装。官方文档caffe安装1. 安装相关依赖sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-devsudo apt-get install libhdf5-serial-dev proto

2017-12-17 23:11:09 436

原创 hadoop常用命令

上传文件hadoop fs -put local_file hdfs://ip:9000/新建文件夹hadoop fs -mkdir /folder移动文件hadoop fs -mv filename folder删除文件hadoop fs -rm /ben/edges_new.csvhadoop fs -rmr /ben/folder #等价于unix下的rm –rfhadoop

2017-12-17 22:19:36 378

1~N的n个数按大小顺序的全排列的c程序

代码非常简洁,只有不到40行,是一个大牛写的,我也没有看懂。保证可用,大家可以下载下来一起学习一下。

2015-03-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除