- 博客(16)
- 收藏
- 关注
RSS订阅原创 Hadoop完全分布式安装的心酸历程
1.下载VMware安装包官网下载地址：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html。下载后点击.exe文件进行安装，安装成功后首次登录需要输入注册码，根据自己安装的版本百度搜索对应的注册码即可，输入注册码后即完成该软件的破解。破解后进入VMware的主界面如图1所示。图1VMware主界面 ...
2020-05-11 19:36:38
595
原创 Pytorch从入门到放弃（8）——可视化FeatureMap(特征图)
在Pytorch的实际使用中，有时我们不仅要提取模型的中间层特征，甚至有时我们需要可视化模型的中间层特征，特别是在写论文的过程中，即可以补充一下文章的篇幅，也可以虎一虎外行人，让他觉得好牛逼好高大上啊。下面开始进入主题：其实很简单，想要哪一层的特征图直接提取那一层的输出即可，并将那一层的特征图可视化即可。首先，我们需要看一下网络都有哪些层，这个我在Pytorch从入门到放弃（3）里面就已经说明...
2020-05-03 00:25:41
12660
17
原创 目标检测学习之路——YOLOv3
相比于YOLOv2，YOLOv3主要做了如下改进：1、提出了新的特征提取器模型Darknet53，该模型相比于Darknet19采用了残差单元（类似ResNet），因此网络模型可以更深；2、采用FPN（feature pyramid networks）结构来实现多尺度预测；3、分类器的改变，使用多个多个 logistic分类器替代原始的Softmax分类器。1、Darknet53Da...
2020-02-20 18:40:55
674
原创 Pytorch从入门到放弃（7）——可视化模型训练过程中的loss变化
深度学习就像炼丹，一次模型的训练需要很长时间，任何人都无法做到一直盯着模型的训练。通常都是开启模型训练之后，只要不报错并且随着迭代次数的增加模型的loss在下降，这时我都会去干别的了让它跑去吧，第二天再来看我的丹炼的怎么样。这时怎么在一堆仙丹（经过一天的训练会保存许多模型的权重，每迭代多少个batch或每个epoch保存一次权重）中找到最好的那一个。如果盲目的取最后几次保存的，容易取到过拟合的模型...
2020-02-07 19:37:08
15636
10
原创 Pytorch从入门到放弃（6）——实现图像多标签的训练与分类
传统的用于执行分类任务的深度学习模型，往往是解决的单分类任务，即为一幅图像只预测一个标签，但现实世界中往往一幅图像中通常是含有多个标签的 。Pytorch中分类任务常用的损失函数CrossEntropyLoss也是处理单标签数据的，无法实现多标签数据端到端的训练。在工作或日常实验中，我们经常会遇到一幅图像中含有多个标签的问题，我们需要怎样来处理呢？下面给出两个解决方案：1、即一幅图像包含几个标签就...
2020-02-07 15:23:02
21120
33
原创 目标检测学习之路——YOLOv2
YOLOv2YOLOv2相对于V1的改进主要有两方面：1、使用一系列策略对YOLOv1的网络结构进行了修改，在保证检测速度的同时提升了模型的检测准确率；2、提出了一种联合训练策略，使用ImageNet与COCO联合训练得到YOLO9000模型，可以实现9000类物体的目标检测。本文将从这两个改进策略对YOL...
2020-02-06 22:03:22
769
原创 目标检测学习之路——YOLOv1
YOLOV1因一些需要，对经典的检测模型YOLOV1进行了学习，以下是自己对YOLOV1的一些见解，如有错误，还请大佬指正。对于目标检测任务，江湖上主要有两大流派：1.two stage策略（即proposal+classifier的方法），经典模型有rcnn、fast-rcnn、fa...
2019-11-30 11:05:12
741
原创 Pytorch从入门到放弃（5）——取消测试与验证阶段的梯度
在训练网络模型的时候，当输入的图像尺寸过大或者输入图像的batch_size设置过大的时候，经常会遇到out of memory的错误，通常这种情况下，我们会缩小输入图像的尺寸或者减小batch_size来实现基于现有硬件的网络模型的训练。但是，当我们运行训练阶段夹杂的模型验证阶段，就会出现out of memory的错误，明明验证阶段设定的batch_size和图像尺寸大小与训练...
2019-03-31 21:29:52
3557
7
原创 Pytorch从入门到放弃（4）——处理自己的图像数据
无论是采用迁移学习的方法来精调网络模型还是从头开始训练网络模型，首先要解决的就是图像数据的读入，Pytorch使用DataLoader来实现图像数据读入，Pytorch的数据读入主有两种方式： 1.根据文件夹来实现图像与标签数据的读入，定义两个文件夹train、val，分别用来存储训练数据和测试数据，每类图像分别存储在单独的文件夹下，文件目录结构如下所示：...
2019-03-06 23:52:23
2412
4
原创 Pytorch从入门到放弃（3）——迁移学习（基于AlexNet的蜜蜂和蚂蚁分类）
AlexNet是2012年的经典网络结构，日常实验这个模型基本就能满足需求。本人，十分偏爱这个网络模型，也许是上了岁数吧，老年人比较怀旧。文章下面介绍如何使用Pytorch来实现网络模型的精调，续上一篇博文实现基于AlexNet的蜜蜂和蚂蚁的分类，数据集下载和数据的预处理参见上一篇博文。实现迁移学习之前，首先我们读取一下Pytorch封装的AlexNet所包含的网络结构：re...
2019-03-06 00:38:17
4335
3
原创 Pytorch从入门到放弃（2）——迁移学习（基于ResNet18的蜜蜂和蚂蚁分类）
实践中，受限于数据集规模的约束，我们很少从头开始端到端的训练一个神经网络。通常情况下，我们会选择在ImageNet数据集上预训练好的网络模型上进行适当的修改，使其适用于目标数据集。 首先，修改网络模型的最后一个全连接层，使其适应于目标数据集，使用预训练的网络权重来初始化网络模型的权重，用自己的图像数据来微调训练网络。微调网络主要有以下两种做法：1.只训练最后一...
2019-03-04 23:50:51
3968
2
原创 Pytorch从入门到放弃（1）——实现经典神经网络模型LeNet5
由于一些原因，需要使用Pytorch深度学习框架。先后也接触了Caffe、TesorFlow、Pytorch这三个深度学习框架，以后也许会更多，个人觉得这些框架大同小异不必全都掌握，精通一个即可，没有办法上面要求没办法，让你用啥你就得用啥。个人觉得这三个框架安装起来要数Caffe安装起来最麻烦，但是在网络模型的修改与扩展上，个人觉得Caffe最舒服，Caffe有专门的网络定义文件，...
2019-03-04 00:09:20
3506
原创 Caffe实现多标签图像分类（2）——基于Python接口实现多标签图像分类（自己的数据集）
1.前言上一篇博客介绍了一个Caffe自带的例子，使用Python接口实现多标签数据的输入，通过SigmoidCrossEntropy Loss函数实现Caffe多标签分类。实现多标签分类的关键是实现多标签图像数据的录入，这篇博客介绍如何为自己的数据集定制一个基于Python的多标签图像数据输入的data层。2.数据集本文选用多标签数据集Corel5k用于实验，平均每幅图像含有3.5个...
2018-11-18 18:45:21
1761
9
翻译 Caffe实现多标签图像分类（1）——基于Python接口实现多标签图像分类（VOC2012）
1.前言 Caffe可以通过LMDB或LevelDB数据格式实现图像数据及标签的输入，不过这只限于单标签图像数据的输入。由于研究生期间所从事的研究是图像标注领域，在进行图像标注时，每幅图像都是多标签的，因此在使用Caffe进行迁移学习时需要实现多标签图像数据的输入。走过许多弯路，要毕业了，现在将这种比较实用的方法做一下总结方便后面学弟学妹的学习。 经过百度查找，...
2018-11-13 20:52:36
1569
5
原创 TensorFlow从入门到放弃（二）——基于InceptionV3的迁移学习以及图像特征的提取
1. flower数据集下载地址：http://download.tensorflow.org/example_images/flower_photos.tgz共五种花的图片2. 图片处理将图片划分为train、val、test三个子集并提取图片特征。这个过程有点儿漫长请耐心等待。。。。。。import globimport os.pathimport numpy a...
2018-07-20 17:19:05
6021
30
原创 TensorFlow从入门到放弃（一）——实现经典神经网络模型LeNet5
1.mnist手写数字数据集下载地址：http://yann.lecun.com/exdb/mnist/ 2. LeNet5网络模型 第一层：卷积层 这一层的输入就是原始的图像像素32*32*1。第一个卷积层过滤器尺寸为5*5，深度为6，偏置亦为6，不使用全0填充，长和宽的步长为1。所以这一层的输出：28*28*6，卷积层共有5*5*1...
2018-07-18 16:23:50
841
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人