深度学习
文章平均质量分 86
loveliuzz
这个作者很懒,什么都没留下…
展开
-
深度学习种 数据shuffle对模型性能的影响
博客部分内容参照链接:https://blog.csdn.net/g_b_l/article/details/109600536相同的两个目标检测实验,模型进行shuffle和未进行shuffle时训练的loss图,发现:未经shuffle的loss曲线出现周期性的震荡,测试后模型的泛化效果也很差。如下图1(未shuffle)和图2(shuffle)所示: ...原创 2021-02-20 10:18:03 · 2926 阅读 · 0 评论 -
深度学习——Face Verificaton(人脸验证)与Face Recognition(人脸识别)在FaceNet的应用案例
一、综述人脸识别领域主要有两个范畴:Face Verificaton(人脸验证)与Face Recognition(人脸识别)1、Face Verificaton(人脸验证):1:1的匹配问题。如果你有一张输入图片以及某人的ID或名字, 系统要做的是:验证输入照片是否是这个人。 在人脸验证中,会看到两张图像,并且必须告诉他们是否属于同一个人。 最简单的方法是逐个比较两个图像,如果原始图...原创 2018-04-28 11:11:49 · 12327 阅读 · 1 评论 -
用于TensorFlow Serving部署生产环境的saved_model 模块
saved_model模块主要用于TensorFlow Serving。TF Serving是一个将训练好的模型部署至生产环境的系统,主要的优点在于可以保持Server端与API不变的情况下,部署新的算法或进行试验,同时还有很高的性能。保持Server端与API不变有什么好处呢?有很多好处,我只从我体会的一个方面举例子说明一下,比如我们需要部署一个文本分类模型,那么输入和输出是可以确定的,输入...转载 2018-07-20 10:41:28 · 6519 阅读 · 0 评论 -
Tensorflow一些常用基本概念与函数汇总(一)
转自:http://blog.csdn.net/lenbow/article/details/521527661、tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始:import tensorflow as tf #定义‘符号’变量,也称为占位符 a = tf.placeholder("float") b = tf.placehold...转载 2018-08-09 16:54:20 · 460 阅读 · 0 评论 -
Tensorflow一些常用基本概念与函数汇总(二)
转自:http: // blog.csdn.net / lenbow / article / details / 521811591、tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始:import tensorflow as tf #定义‘符号’变量,也称为占位符 a = tf.placeholder("float") b = t...转载 2018-08-09 16:58:03 · 432 阅读 · 0 评论 -
Tensorflow一些常用基本概念与函数汇总(三)
摘要:本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的数据IO、图的运行等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之三。1、序言本文所讲的内容主要为以下相关函数:操作组 操作 Data IO (Python functions) TFRecordWrite,rtf_record_iterator Runn...转载 2018-08-09 16:59:33 · 273 阅读 · 0 评论 -
Tensorflow一些常用基本概念与函数汇总(四)
转自http://blog.csdn.net/lenbow/article/details/52218551摘要:本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。1、序言本文所讲的内容主要为以下列表中相关函数。函数training()...转载 2018-08-09 17:03:33 · 436 阅读 · 0 评论 -
Tensorflow加载预训练模型和保存模型(ckpt文件)以及迁移学习finetuning
转载自:https://blog.csdn.net/huachao1001/article/details/78501928使用tensorflow过程中,训练结束后我们需要用到模型文件。有时候,我们可能也需要用到别人训练好的模型,并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文,相信你一定会有收获!1 Tensorflow模型文件我们在checkpoint_d...转载 2018-08-14 10:13:42 · 103080 阅读 · 25 评论 -
tensorflow对深度学习生成的pb模型文件的保存与读取及节点和张量的输出
一、pb模型的保存1、MTCNN人脸检测算法中官网训练好的参数保存在三个文件名称分别为:det1.npy、det2.npy、det3.npy的后缀名为 .npy文件中(.npy文件也是一种以二进制保存的文件),将.npy文件转换为 .pb 模型文件的方法通过以下代码实现:import tensorflow as tfimport detect_faceimport osfrom t...原创 2018-08-02 17:01:09 · 14591 阅读 · 2 评论 -
Tensorflow 模型文件的使用以及格式转换
Tensorflow模型的graph结构可以保存为.pb文件或者.pbtxt文件,或者.meta文件,其中只有.pbtxt文件是可读的。网上大牛们训练好的网络,将模型保存为一个统一的.pb文件,这个文件中不止保存着模型网络的结构和变量名,还保存了所有变量的值,如果我们想利用别人训练好的模型对自己的数据进行测试,往往要对这个模型做一些修改,这时我们经常需要知道原有模型里面的一些张量名称,但是.p...转载 2018-08-03 10:39:45 · 8136 阅读 · 3 评论 -
格灵深瞳:人脸识别最新进展以及工业级大规模人脸识别实践探讨 | 公开课笔记...
作者 | 张德兵编辑 | 阿司匹林出品 | 人工智能头条(公众号ID:AI_Thinker) 人脸识别已经成为成为计算机视觉领域最热门的应用之一,很多刚入门的 AI 新手都或多或少接触过人脸识别的相关知识,但是纸上得来终觉浅,在实际应用中,往往会遇到各种各样的问题,比如如何保证不同环境下人脸识别的准确率,极端环境下如何进行人脸识别等等。 为了帮大家解惑,我们特意邀...转载 2018-08-08 16:25:38 · 1402 阅读 · 2 评论 -
FaceNet源码使用方法及其迁移学习训练自己数据集的代码修改
关于修改train_softmax.py文件进行迁移学习比如:自己的数据集要识别6个人,最后一个全连接层的节点个数为6。训练的数据集路径下改成自己的数据集。代码修改及解释有如下几处:经过上面的修改后即可在自己的数据集上进行迁移学习的训练,保存最终训练的模型,其他地方的参数可以自行调整优化。 FaceNet源码使用方法主要参照转载自:https://blog.cs...原创 2018-08-16 17:36:13 · 23451 阅读 · 31 评论 -
深度学习——激活函数总结
激活函数主要作用是:加入非线性的因素,以解决线性模型表达能力不足的缺陷,在整个神经网络里面起到至关重要的作用。因为神经网络的数学基础是处处可微的,所以选取的激活函数要能保证数据输入与输出也是可微的。在神经网络中常用的激活函数有Sigmoid、Tanh、ReLU、Softplus以及变种函数Noisy ReLU、Leaky ReLU、Elus、Swish等。1、Sigmoid函数...原创 2018-09-04 14:50:39 · 3059 阅读 · 0 评论 -
深度学习中的优化方法总结
转载自:https://blog.csdn.net/u012151283/article/details/78154917梯度下降沿着整个训练集的梯度方向下降。可以使用随机梯度下降很大程度地加速,沿着随机挑选的小批量数据的梯度下降。批量算法和小批量算法使用小批量的原因n个样本均值的标准差是σn√σn,其中σσ是样本值真实的标准差。分母n−−√n表明使用更多的样本来估计梯度的方法的回...转载 2018-09-27 11:24:30 · 6359 阅读 · 0 评论 -
深度学习——dropout理解
文章转载自:https://blog.csdn.net/u012762419/article/details/795340851.dropout解决的问题深度神经网络的训练是一件非常困难的事,涉及到很多因素,比如损失函数的非凸性导致的局部最优值、计算过程中的数值稳定性、训练过程中的过拟合等。其中,过拟合是很容易发生的现象,也是在训练DNN中必须要解决的问题。过拟合我们先来讲一下什么...转载 2018-09-30 18:04:53 · 2320 阅读 · 0 评论 -
深入理解反卷积
参考链接:https://www.zhihu.com/question/48279880/answer/525347615参考链接:https://blog.csdn.net/itleaks/article/details/80336825什么是反卷积?上采样(Upsample)在应用在计算机视觉的深度学习领域,由于输入图像通过卷积神经网络(CNN)提取特征后,输出的尺寸往往会变小,...转载 2018-11-14 18:07:37 · 5437 阅读 · 2 评论 -
Keras:基于Theano和TensorFlow的深度学习库
文章转载于:https://www.cnblogs.com/LittleHann/p/6442161.html关于keras框架的介绍亦可参考:https://www.jianshu.com/p/8dcddbc1c6d4Keras源码的组织和功能如下:.│ activations.py│ callbacks.py│ constraints.py│ initializations.p...转载 2018-04-25 13:12:12 · 670 阅读 · 0 评论 -
【siamese网络学习】基于2-channel network的图片相似度判别
原文地址:http://blog.csdn.net/hjimce/article/details/50098483作者:hjimce一、相关理论 本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章:《Learning to Compare Image Patches via Convolutional Neural Networks》,本篇文章对经典的算法Siamese Ne...转载 2018-04-24 16:07:47 · 3785 阅读 · 0 评论 -
Keras简介及其扩展性
本文章转载自博客:https://blog.csdn.net/hewb14/article/details/53414068Keras拥有不错的扩展性,这一方面是因为设计时就留好的接口,另一方面是因为清晰的代码结构,让你可以有很多自定义的空间。所以下面用几个例子介绍在Keras中如何自定义层和各种方法。0、backend如果想在Keras中自定义各种层和函数,一定会用到的就是backend。一般导...转载 2018-04-23 11:36:08 · 701 阅读 · 0 评论 -
深度学习——利用学习框架TensorFlow搭建深层神经网络DNN
一、TensorFlow搭建深层神经网络DNN框架1、初始化变量2、构建session会话3、训练算法4、实现神经网络框架不仅可以缩短编码时间,而且有时还可以实现加速代码的优化。文件tf_utils.py的代码,在主文件中需要导入相应的包:#!/usr/bin/env python# -*- coding:utf-8 -*-# Author:Zhengzheng原创 2018-01-13 20:07:15 · 14833 阅读 · 1 评论 -
深度学习——tensorflow安装、简介及基础内容
一、TensorFlow安装及介绍张量:是一种表示物理量的方式,是用基向量与分量组合表示物理量。由于基向量有丰富的组合, 张量也可以非常丰富的物理量。张量所描述的物理量是不随观察者或者说参照系而变化的。二、TensorFlow基本概念tensorflow常用函数说明链接原创 2017-12-23 15:29:35 · 396 阅读 · 0 评论 -
深度学习卷积神经网络——经典网络LeNet-5、AlexNet、ZFNet网络的搭建与实现
一、CNN卷积神经网络的经典网络综述下面图片参照博客:http://blog.csdn.net/cyh_24/article/details/51440344二、LeNet-5网络输入尺寸:32*32卷积层:2个降采样层(池化层):2个全连接层:2个输出层:1个。10个类别(数字0-9的概率) LeNet-5网络是针对灰度图进行训练的,输原创 2018-01-23 08:50:48 · 22723 阅读 · 6 评论 -
深度学习卷积神经网络——经典网络VGG-16网络的搭建与实现
一、VGG-16网络框架介绍VGGNet是牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系,通过反复堆叠3*3的小型卷积核和2*2的最大池化层,VGGNet成功地构筑了16~19层深的卷积神经网络。VGGNet相比之前state-of-原创 2018-01-23 11:12:41 · 47252 阅读 · 9 评论 -
深度学习卷积神经网络——经典网络GoogLeNet(Inception V3)网络的搭建与实现
一、Inception网络(google公司)——GoogLeNet网络的综述获得高质量模型最保险的做法就是增加模型的深度(层数)或者是其宽度(层核或者神经元数),但是这里一般设计思路的情况下会出现如下的缺陷:1.参数太多,若训练数据集有限,容易过拟合;2.网络越大计算复杂度越大,难以应用;3.网络越深,梯度越往后穿越容易消失,难以优化模型。 解决上述两个缺点的根本原创 2018-01-23 21:30:10 · 89724 阅读 · 25 评论 -
神经网络——反向传播BP算法应用案例
案例应用(一)——20个样本的两层(单隐藏层)神经网络知识点:1、tolist()链接:http://blog.csdn.net/akagi_/article/details/763829182、axis=0:第0轴表示沿着行垂直向下(列) axis=1:第1轴表示沿着列的水平方向延伸(行)3、数据标准化(Normalization)的三种方法:原创 2018-01-06 12:14:31 · 3032 阅读 · 0 评论 -
深度学习——卷积神经网络 (Convolutional Neural Networks / CNN)
一、卷积神经网络的概述1、卷积神经网络与普通神经网络非常相似,它们都由具有可学习的权重w和偏置常量(biases)的神经元组成。每个神经元都接收一些输入,并做一些点积计算,输出是每个分类的分数,普通神经网络里的一些计算技巧到这里依旧适用。普通神经网络把输入层和隐含层进行“全连接(Full Connected)“的设计。从计算的角度来讲,相对较小的图像从整幅图像中计算特征原创 2018-01-15 11:11:59 · 9691 阅读 · 0 评论 -
深度学习——残差神经网络ResNet在分别在Keras和tensorflow框架下的应用案例
一、残差神经网络——ResNet的综述深度学习网络的深度对最后的分类和识别的效果有着很大的影响,所以正常想法就是能把网络设计的越深越好,但是事实上却不是这样,常规的网络的堆叠(plain network)在网络很深的时候,效果却越来越差了。其中原因之一即是网络越深,梯度消失的现象就越来越明显,网络的训练效果也不会很好。 但是现在浅层的网络(shallower network)又原创 2018-01-21 22:51:56 · 44096 阅读 · 13 评论 -
深度学习——概述及反向传播BP算法
O、机器学习回顾机器学习可以当做深度学习的分类器,深度学习用于提取特征,将特征向量喂给机器学习算法进行分类与回归。一、神经网络来源——神经元二、浅层神经网络前向传播1、单个样本单隐藏层的神经网络前向传播2、多个样本(训练集)上的单隐藏层的神经网络前向传播三、几种激活函数及原创 2018-01-02 15:00:44 · 629 阅读 · 0 评论 -
深度学习——卷积神经网络 的经典网络(LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet)
一、CNN卷积神经网络的经典网络综述下面图片参照博客:http://blog.csdn.net/cyh_24/article/details/51440344二、LeNet-5网络输入尺寸:32*32卷积层:2个降采样层(池化层):2个全连接层:2个输出层:1个。10个类别(数字0-9的概率) LeNet-5网络是针对灰度图进行训练的,输入图像大小为32*32*1,不包含输入层的情况下共有7层原创 2018-01-17 22:33:39 · 20910 阅读 · 4 评论 -
深度学习——循环神经网络/递归神经网络(RNN)及其改进的长短时记忆网络(LSTM)
一、循环神经网络简介二、循环神经网络的结构三、循环神经网络的前向传播与反向传播(一)RNN前向传播 前向传播总结:(二)RNN反向传播(三)RNN网络的缺点四、长短时记忆——LSTM结构(一)LSTM结构的引入 在RNN模型里,每个序列索引位置t都有一个隐藏状态h...原创 2018-01-26 22:33:41 · 33700 阅读 · 13 评论 -
深度学习——卷积神经网络在tensorflow框架下的应用案例
一、简单的卷积神经网络的小应用tensorflow框架下构建训练一个简单的3层卷积神经网络实现分类问题(一)数据集介绍——SIGNS Datasets教电脑破译手语,在白色的墙壁前拍照,得到以下数据集。现在的任务是建立一个算法,使有语音障碍的人与不懂手语的人交流。训练集:1080张图片,每张图片大小为:64*64*3,表示数字0至5,每个数字的图片为180张原创 2018-01-20 22:33:52 · 9526 阅读 · 3 评论 -
深度学习——卷积神经网络的应用——目标检测
一、理论部分介绍1. 目标定位和特征点检测图片检测问题:分类问题:判断图中是否为汽车;目标定位:判断是否为汽车,并确定具体位置;目标检测:检测不同物体并定位。目标分类和定位:对于目标定位问题,我们卷积神经网络模型结构可能如下:输出:包含图片中存在的对象及定位框行人,0 or 1;汽车,0 or原创 2018-01-29 18:08:50 · 27513 阅读 · 3 评论 -
生成对抗网络(Generative Adversarial Nets)——GAN
目录一、生成对抗网络的定义及优势二、生成对抗网络原理深入理解GAN基础思想:实际中的GAN:三、生成对抗网络的训练过程一、生成对抗网络的定义及优势GAN 主要包括了两个部分,即生成器 (generator)与判别器 (discriminator)。(1)生成器主要用来学习真实图像分布从而让自身生成的图像更加真实,以骗过判别器。(2)判别器则需要对接收...原创 2018-12-17 18:10:28 · 5380 阅读 · 1 评论 -
深度学习——TensorFlow基础知识总结
1、tf.matmul() ---- np.dot() : 矩阵乘法 tf.multiply ---- np.multiply() : 矩阵点乘,矩阵对应元素各自相乘2、TensorFlow用张量这种数据结构表示所有数据。“零阶张量”:没有方向的数值,标量。“一阶张量”:有且仅有一个方向的数值,矢量,向量。“二阶张量”:能够同时具有两个方向的数值,矩阵。3、tf.random_norma...原创 2018-04-23 11:22:57 · 673 阅读 · 0 评论 -
DNN案例——一步步构建深层神经网络
一、总体目标与大致结构构建一个深层神经网络,该深层神经网络拥有任意想要的多个层。(1)采用像ReLU这样的非线性单元来增强模型。(2)构建一个通用的多于一个隐藏层的深层神经网络。(3)利用构建的深层神经网络进行图片的分类。注意:二、应用的包import1、numpy是Python的科学计算的基础包。2、h5py 是一种常见的封装和数据集存储在H5交互文件。p原创 2018-01-12 16:16:01 · 6859 阅读 · 0 评论