神经网络
吃不胖的粥
一心想退休的打工人
展开
-
服务器配准深度学习环境(二)—— 搭建torch和对应版本的torchvision
接着上一篇安装完anaconda后,就可以一步一步来搭建我们炼丹需要的环境了因为我目前在做点云配准,这次呢,就以pcrnet为例,我们来搭建环境pcrnet源码地址:https://github.com/vinits5/pcrnet_pytorchpcrnet文章地址:https://arxiv.org/abs/1908.07906pcrnet需要的环境(源码一般会告诉你需要啥)那我们就先安装torch和torchvision吧1.找到对应版本信息https://www...原创 2020-10-14 21:45:14 · 1009 阅读 · 0 评论 -
[深度学习] loss不下降的解决方法
转载https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/训练集loss不下降训练集的loss在训练过程中迟迟不下降,一般是由这几个方面导致的,这一点在我之前的文章《深度学习:欠拟合问题的几种解决方案》中基本都涉及到了,详细内容可以查看原文,本文中,将这些内容面再做一个扩充。1.模型结构和特征工程存在问题如果一个模型的结构有问题,那么它就很难训练,通常,自己“自主研发”设计的网络结构可能..转载 2020-09-17 16:03:42 · 7964 阅读 · 0 评论 -
Keras搭建yolo4目标检测平台
=参考链接https://blog.csdn.net/weixin_44791964/article/details/106014717学习yolo4之前强烈建议大家先学学yolo,把几个大概的模块熟悉一下。yolo4对比yolo3最大的不同,在于一个是网络主体有改进,一个是loss函数有变化,其他的解码模块还是一样的。网络部分:左边的是yolo3的网络部分, 右边是yolo4的网络部分,yolo4对比yolo3网络部分,一个是激活函数用了Mish激活,将DarknetConv2原创 2020-05-29 15:51:54 · 1137 阅读 · 1 评论 -
Keras搭建yolo3目标检测平台
=参考这个链接https://blog.csdn.net/weixin_44791964/article/details/103276106yolo3的代码我把它分为2个部分:一个编码部分:就是主体网络结构部分,得到框位置(xy, wh)和类别信息;一个解码部分:就是将得到的框信息和类别信息解析到图片上。主体网络部分:#--------------------------------------------------## 单次卷积#----------------..原创 2020-05-29 12:07:04 · 1367 阅读 · 0 评论 -
语义分割之deeplab
deeplab和之前的几个segnet,unet,pspnet结构不太一样,他的编码网络部分主体变为了Xception, 然后再进行不同层次的卷积,产生的特征包含两个部分,一个是Xception输出,一个是不同卷积后输出。因此解码器也包含两个部分。整个结构如下图Xception.py Xception网络结构from keras.models import Modelfrom keras import layersfrom keras.layers import Inputfrom原创 2020-05-11 16:08:07 · 729 阅读 · 2 评论 -
语义分割之pspnet
老规矩,放个链接https://blog.csdn.net/weixin_44791964/article/details/102985167目录mobilenet.py 编码器结构pspnet.py 解码器结构train.py 训练部分predict.py 预测部分pspnet最大的区别就是将某一个特征层进行不同的处理后,再连接起来。采用了步长不同,pool_size不同的平均池化层进行池化,然后将池化的结果重新resize到一个hw上后,再concatenate;左边的编码器还是原创 2020-05-11 15:52:57 · 932 阅读 · 3 评论 -
语义分割之unet模型
跟这位大哥学的https://blog.csdn.net/weixin_44791964/article/details/102983853与segnet不同的是,segnet是将特征一次性输入;unet是将特征逐步输入(首先输入f4,再f3, 再f2),左边编码器顺序是从上到下,右边解码器是从下到上。将hw被压缩了四次的f4进行一次上采样后与f3进行concatenate,然后再进行一次上采样与f2进行concatenate,然后再进行一次上采样(这里可以选择是否与f1进行concatenate...原创 2020-05-11 15:14:03 · 3357 阅读 · 0 评论 -
语义分割之基于Mobile网络的segnet模型
这个老哥讲的很好https://blog.csdn.net/weixin_44791964/article/details/102979289目录mobileNet.py 就是左边编码的结构segnet.py 就是解码和整个模型train.py 训练过程predict.py 预测过程实验结果segnet模型我的理解就是先进行特征编码,再解码,得到每个像素点的类别。编码的时候可以采用各种网络提取特征, 然后特征再输入解码器中进行解码(就是不断地上采样)。本文采用的Mob..原创 2020-05-11 11:51:12 · 1410 阅读 · 0 评论 -
无中生有之CycleGAN
cycleGAN链接https://blog.csdn.net/weixin_44791964/article/details/103780922之前还要下载keras_contrib库,可以看链接下载。1.网络结构网络结构差不多这样,两个生成器,两个鉴别器 。生成器GAB是将A类型的图像转为B类型生成器GBA是将B类型的图像转为A类型鉴别器DA是判别图像是不是A类型...原创 2020-05-06 14:25:50 · 606 阅读 · 0 评论 -
无中生有之SRGAN
SRGAN 链接https://blog.csdn.net/weixin_44791964/article/details/103825427我自己理解后画出来的SRGAN的结构就是这个样子,就是把生成器和鉴别器的网络变成残差网络, 然后加入了一个特征的判断,其中这个特征是用VGG16这个模型来提取的。计算loss的时候有两个,一个是真假的loss,一个是特征的loss。还是比较好理解的...原创 2020-05-06 11:11:06 · 757 阅读 · 0 评论 -
无中生有之DCGAN, CGAN, ACGAN
上面一小节中讲了GAN网络,这一节介绍他的兄弟姐妹们1.DCGANDCGAN其实和GAN差不多,只是在网络的部分引入了卷积操作,其他的结构都是一样的(一个生成器,一个辨别器)。from __future__ import print_function, divisionimport tensorflow as tffrom tensorflow.keras.datasets i...原创 2020-05-03 15:27:13 · 1256 阅读 · 0 评论 -
无中生有之Tensorflow2.0 GAN mnist数据集 生成图像
推荐一个可爱的博主 ,专门介绍各种GAN, 还有代码讲解https://www.bilibili.com/video/BV13J41187Fo?p=4然后他的博客https://blog.csdn.net/weixin_44791964/category_9625179.html视频的代码会放在这个里面讲一下自己的理解吧。1.先定义生成器和鉴别器2.然后将生成器和鉴别器连起...原创 2020-04-26 16:55:38 · 1081 阅读 · 1 评论 -
tensorflow keras inception 和ResNet
1. Inceptionimport tensorflow as tffrom tensorflow.keras.layers import Dense, Flatten, Conv2D, MaxPool2D, BatchNormalization, Activation, Dropout, GlobalAveragePooling2Dfrom tensorflow.keras ...原创 2020-04-22 18:55:26 · 331 阅读 · 0 评论 -
tensorflow KEras 之Lenet/Alexnet/VGG16 网络结构
目录1. Lenet2. Alexnet3.VGG161. Lenetfrom tensorflow.keras.layers import Dense, Flatten, Conv2D, MaxPool2Dfrom tensorflow.keras import Modelclass LeNet5(Model): def __init__(self):...原创 2020-04-21 14:41:48 · 465 阅读 · 0 评论 -
Tensorflow2.0 keras模块 实现mnist数据集识别
tf.keras搭建网络八股:六步法: 0 -》1-》3-》4-》6-》7其他的属于扩展操作,例如数据增强,断点续训目录0. import ....#导入相关的库1. train, test #测试数据,训练数据2. ImageDataGenerator #数据增强3. model = tf.keras.model.Sequential #搭建网络结构4. m...原创 2020-04-20 11:17:13 · 1112 阅读 · 0 评论 -
深度学习TensorFlow学习笔记 六 卷积神经网络
1.基本定义全连接NN:每个神经元与前后层的每个神经元都有连接关系,输入的是特征,输出的是预测结果参数个数 =(前层*后层+后层),也就是w和b的总数待优化的参数过多,容易导致模型的过拟合,因此在实际应用中,通常先对你特征进行提取,再喂给全连接网络。卷积 convolution:用一个正方形卷积核,遍历图上的每个点,图片区域内,相对应的每一个像素值,乘以卷积内相应点的权重,求和,再...原创 2020-04-13 16:39:29 · 524 阅读 · 0 评论 -
深度学习 Tensorflow学习笔记 五 MNIST手写数据集的识别
MNIST数据集:手写数字(0~9)的图片和标签,包含6w张28*28 图片, 用于训练, 1w张28*28图片用于测试1.导入数据集from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets('./data/',one_hot= True)2. 返回各子集样...原创 2020-04-12 15:20:22 · 787 阅读 · 2 评论 -
深度学习TensorFlow 学习笔记 四 模块化
所谓的模块化,就是将整个步骤分为三部分:生成数据集、前向传播、后向传播,分别对应三个文件generated.py forward.py backward.py目录在generated.py文件中:在forward.py文件中:在backward.py文件中以上一个例子为例:在generated.py文件中:负责训练数据的生成(包括...原创 2020-04-11 17:00:08 · 257 阅读 · 0 评论 -
深度学习 TensorFlow 学习笔记三 学习率、滑动平均和正则化
这几天学习的内容有点多,光看定义和一些理论知识还是太抽象了,结合代码看上手比较容易。建议理论部分就去看吴恩达老师的深度学习课程,然后再看北大的tensorflow课程,先理论后实际。目录1. 学习率 learning rate1.1定义1.2示例2.滑动平均2.1 定义2.2示例3.正则化3.1定义3.2 复杂的示例1. 学习率 learning rat...原创 2020-04-09 17:55:55 · 790 阅读 · 0 评论 -
深度学习tensorflow 学习笔记二 反向传播
目录1. 反向传播(back propogation)2. 损失函数(loss)3. 反向传播训练方法4. 搭建一个简单的神经网络的步骤5.代码示例1. 反向传播(back propogation)训练模型参数,在所有的参数上使用梯度下降或其他方法,使NN模型在训练数据上的损失函数最小。需要的步骤:定义损失函数和 反向传播方法2. 损失函数(loss)预测...原创 2020-04-08 11:52:55 · 468 阅读 · 0 评论