![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
涛涛酱
北邮研究僧在读
展开
-
通俗理解卷积神经网络
博文通俗解释了卷积计算的过程。 https://blog.csdn.net/v_july_v/article/details/51812459转载 2019-01-24 12:06:48 · 134 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 —— week3 超参数调试、Batch 正则化和程序框架(编程作业)
Task :实现一个三层的TensorFlow神经网络:LINEAR->RELU->LINEAR->RELU->LINEAR->SOFTMAX。详见:https://blog.csdn.net/u013733326/article/details/79971488还有些地方没搞懂,假装自己完成了,向04. 卷积神经网络出发!!!...原创 2019-03-02 15:55:39 · 119 阅读 · 0 评论 -
04.卷积神经网络 —— week1. 卷积神经网络基础
1. 计算机视觉计算机视觉(Computer Vision)包含很多不同类别的问题,如图片分类、目标检测、图片风格迁移等等。对于小尺寸的图片问题,也许我们用深度神经网络的结构可以较为简单的解决一定的问题。但是当应用在大尺寸的图片上,输入规模将变得十分庞大,使用神经网络将会有非常多的参数需要去学习,这个时候神经网络就不再适用。卷积神经网络在计算机视觉问题上是一个非常好的网络结构。2. 边缘...原创 2019-03-03 21:40:59 · 364 阅读 · 0 评论 -
04.卷积神经网络 —— week2. 深度卷积网络模型
OutlineClassic networks:LeNet-5AlexNetVGGResNetInception1. 经典的卷积网络LeNet-5:LeNet-5主要是针对灰度设计的,所以其输入较小,为 32\times32\times1 ,其结构如下:在LetNet中,存在的经典模式:随着网络的深度增加,图像的大小在缩小,与此同时,通道的数量却在增加;每个卷...转载 2019-03-07 11:18:57 · 354 阅读 · 0 评论 -
04.卷积神经网络 —— week4. 人脸识别和神经风格迁移
1. 人脸识别人脸验证和人脸识别人脸验证(Verification):Input:图片、名字/ID;Output:输入的图片是否是对应的人;1 to 1 问题。人脸识别(Recognition):拥有一个具有K个人的数据库;输入一副人脸图片;如果图片是任意这K个人中的一位,则输出对应人的ID。人脸识别问题对于人脸验证问题来说,具有更高的难度。如对于一个验证系统来...转载 2019-03-14 15:27:38 · 323 阅读 · 0 评论 -
04.卷积神经网络 —— week4. 人脸识别和神经风格迁移(编程作业)
第一部分 人脸识别1. 将人脸图像编码为128位的向量原创 2019-03-15 22:04:59 · 315 阅读 · 0 评论 -
05. 序列模型 —— week1. 循环序列模型
1. 序列模型的应用语音识别:将输入的语音信号直接输出相应的语音文本信息。无论是语音信号还是文本信息均是序列数据。音乐生成:生成音乐乐谱。只有输出的音乐乐谱是序列数据,输入可以是空或者一个整数。情感分类:将输入的评论句子转换为相应的等级或评分。输入是一个序列,输出则是一个单独的类别。DNA序列分析:找到输入的DNA序列的蛋白质表达的子序列。机器翻译:两种不同语言之间的想换转换。输入和输...转载 2019-03-16 21:58:19 · 245 阅读 · 0 评论 -
04. 卷积神经网络 —— week3. 目标检测
1. 目标定位和特征点检测图片检测问题:分类问题:判断图中是否为汽车;目标定位:判断是否为汽车,并确定具体位置;目标检测:检测不同物体并定位。目标分类和定位:对于目标定位问题,我们卷积神经网络模型结构可能如下:输出:包含图片中存在的对象及定位框行人,000 or 111;汽车,000 or 111;摩托车,000 or 111;图片背景,000 or 111;定位...转载 2019-03-12 21:14:04 · 581 阅读 · 0 评论 -
【Paper Reading】Relation Networks for object detection
算是读了四个半天吧。读是读完了,也理解了主要问题。有点不太知道怎么讲。更别说PPT了。。。未完待续,先把资料码起来:[1] 全文翻译:https://www.cnblogs.com/Ann21/p/9787715.html[2] 一些地方的理解:https://blog.csdn.net/qq_21949357/article/details/80369848[3] https://bl...原创 2019-03-21 20:50:14 · 407 阅读 · 0 评论 -
04.卷积神经网络 —— week3.目标检测(编程作业)
Task:学习使用YOLO算法进行对象识别。输入图像为(608,608,3)输入的图像先要通过一个CNN模型,返回一个(19,19,5,85)的数据。在对最后两维降维之后,输出的维度变为了(19,19,425):每个19x19的单元格拥有425个数字。425 = 5 x 85,即每个单元格拥有5个锚框,每个锚框由5个基本信息+80个分类预测构成。85 = 5 + 80,...原创 2019-03-13 16:35:09 · 160 阅读 · 0 评论 -
【Paper Reading】Deep Neural Networks for Object Detection
111原创 2019-03-31 17:00:45 · 277 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 —— week3 超参数调试、Batch 正则化和程序框架(编程作业)
Task:1. 神经网络的底层搭建实现一些模块的函数功能:卷积模块使用0扩充边界 np.pad函数,没太明白二维以及更高维的填充原理,但是只填充一个数的时候,计算出维度就好了。卷积窗口前向卷积反向卷积(可选)没看。。。池化模块前向池化 和前向卷积的步骤基本一样,最后的运算函数不同。创建掩码值分配反向池化(可选)没看。。。2. 使用Tensorflow实现卷...原创 2019-03-05 10:03:43 · 162 阅读 · 0 评论 -
02. 改善深层神经网络: 超参数调试、正则化以及优化 —— week1深度学习的实用层面
内容涉及超参数调优,如何构建数据,以及如何确保优化算法快速运行,从而使学习算法在合理的时间内完成自我学习。1.1 训练、验证、测试集应用型机器学习是一个高度迭代的过程。创建高质量的训练集,验证集和测试集可以提高迭代的速度。我们通常将训练数据划分为三部分:训练集:用训练集对算法或模型进行训练过程。(交叉)验证集:交叉验证,选择模型。测试集:选定模型后,在测试集进行评估,获得模型运行的无偏...原创 2019-02-20 11:50:33 · 312 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 —— week2 优化算法
1. mini-batch 梯度下降算法在对整个训练集执行梯度下降法时,每进行一步梯度下降法都必须处理整个训练集。训练集很大的时候,如有500万或5000万训练数据时,处理速度就会比较慢。如果每次处理训练数据的一部分,即用其子集进行梯度下降,则我们的算法速度会执行的更快。而处理的这些一小部分训练子集即称为Mini-batch。1.1 算法原理:对于普通的梯度下降法,一个epoch只能进行...转载 2019-02-25 20:41:27 · 233 阅读 · 0 评论 -
Alexnet理解及实现
目录1. 前言2. 数据集3. 结构3.1 ReLU非线性函数(ReLU Nonlinearity)3.2 Training on Multiple GPUs3.3 LRN(局部响应归一化)3.4 Overlapping Pooling:3.5 整体结构3.5.1 Alexnet结构3.5.2 各层训练参数的计算3.5.3 参数计算公式4. 减少过度拟合4.1 数据增益4.2 Dropout5...原创 2019-01-26 15:08:36 · 1771 阅读 · 0 评论 -
01.神经网络和深度学习——week3 浅层神经网络
12原创 2019-02-01 20:01:48 · 320 阅读 · 0 评论 -
Generative Adversial Nets 理解及实现
1. 前言GAN中蕴含了零和(zero-sum)游戏的理论。GAN有两个网络,一个生成器(G)和一个判别器(D),两者互相竞争。生成器目的是使判别器无法区分输入的数据是来自真实数据还是它生成的假数据。判别器目的是学习当前的数据是来自真实数据还是G生成的数据。这个游戏论的最优解是它俩达到纳什平衡,即G生成的假数据的分布和原始数据的分布是基本一致的,而D对当前数据来自真实数据还是假数据的概率输出只能...原创 2019-02-02 20:39:04 · 711 阅读 · 0 评论 -
01.神经网络和深度学习 —— week2 神经网络基础
2.1 二分类问题1. 两个问题实现神经网络如果遍历训练集,不需要用for循环;为什么神经网络的计算过程可以分为前向传播和后向传播;2. 给出几个符号及含义样本(x,y)(x,y)(x,y),训练样本包括m个;x∈Rnxx∈R^{n_{x}}x∈Rnx,表示样本x包含nxn_{x}nx个特征(hight * width * channel);y∈(0,1)y∈(0,1)y∈...原创 2019-01-29 19:33:30 · 264 阅读 · 0 评论 -
01. 神经网络和深度学习 —— week3浅层神经网络(编程作业)
1. 任务用一个隐含层的神经网络实现一个二分类。利用非线性的激活函数单元。计算交叉熵损失函数。实现向前传播和向后传播。2. 网络结构3. 建立神经网络的方法定义神经网络的结构(输入层,输出层,隐含层个数)。初始化模型参数。循环:—实现向前传播。—计算损失函数。—为了得到梯度值,实现向后传播。—更新参数(梯度下降)4. 代码import numpy as np...原创 2019-02-08 12:56:32 · 390 阅读 · 0 评论 -
01.神经网络和深度学习——week2 神经网络基础(编程作业)
Part 1:Python Basics with Numpy (optional)1. Building basic functions with numpy1.1 Sigmoid function,np.exp()exe. Build a function that returns the sigmoid of a real number x. Use math.exp(x) for t...原创 2019-01-30 22:28:13 · 367 阅读 · 0 评论 -
01. 神经网络和深度学习 ——week4 深层神经网络
4.1 矩阵的维数DNN结构示意图:对于第 lll 层神经网络,单个样本及各个参数的矩阵维度为:W[l]:(n[l],n[l−1])W^{[l]} : (n^{[l]},n^{[l-1]})W[l]:(n[l],n[l−1])b[l]:(n[l],1)b^{[l]} : (n^{[l]},1)b[l]:(n[l],1)dW[l]:(n[l],n[l−1])dW^{[l]} : (n^...转载 2019-02-10 22:48:19 · 267 阅读 · 0 评论 -
02. 改善深层神经网络:超参数调试、正则化以及优化 —— week2 优化算法(编程作业)
任务分割数据集优化梯度下降算法:不使用任何优化算法mini-batch梯度下降法使用具有动量的梯度下降算法使用Adam算法详见吴恩达深度学习编程作业中文版连载笔记: https://blog.csdn.net/u013733326/article/details/79907419笔记太好,没有改写的欲望。...原创 2019-02-27 14:22:14 · 233 阅读 · 0 评论 -
01. 神经网络和深度学习 —— week4 深层神经网络 (编程作业)
初始化:def initialize_parameters_deep(layers_dims): """ 参数: layers_dims: 包含网络中每个图层的节点数量的列表 返回: parameters: 包含参数“W1”,"b1",...,"WL","bL"的字典 “Wl”:权重矩阵,维度为[layers_dims[l], ...原创 2019-02-11 21:41:58 · 284 阅读 · 0 评论 -
02. 改善深层神经网络:超参数调试、正则化以及优化 —— week1 深度学习的实用层面(编程作业)
1 初始化参数尝试了三种初始化方法,比较分类和代价函数变化。全部初始化为0parameters['W' + str(l)] = np.zeros((layers_dims[l], layers_dims[l - 1]))算法性能差,运行过程中成本没有真正降低。分类失败,该模型预测每个都为0。通常来说,零初始化都会导致神经网络无法打破对称性,最终导致的结果就是无论网络有多少层,最终...原创 2019-02-24 11:47:28 · 318 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 —— week3 超参数调试、Batch 正则化和程序框架
1原创 2019-03-01 16:17:05 · 276 阅读 · 0 评论 -
Faster Rcnn
持续了大概一个月。终于看完源码,本来想写一篇万字长文,还是没写。因为本身对python不是很熟悉,路途坎坷。先记下阅读过程中看的博客。损失函数:损失函数的代码实现部分和smoothl1公式有出入,不知道为什么。https://blog.csdn.net/Mr_health/article/details/84970776RPN 源码解析:https://blog.csdn....原创 2019-07-05 10:29:27 · 465 阅读 · 0 评论