![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习笔记
Saul Zhang
https://github.com/SaulZhang
展开
-
MLDS18:GAN相关课程学习笔记和代码
Generative Adversarial Network (GAN):课程主页目录Introduction (2018/05/04) 笔记Conditional GAN (2018/05/11) 笔记Unsupervised Conditional GAN (2018/05/18) 笔记Theory (2018/05/11) 笔记General Framework (2018/...原创 2019-11-08 11:32:27 · 403 阅读 · 0 评论 -
生成器与判别器
一张图了解生成模型和判别模型在ML的任务里面通常会有两类任务,即判别任务和生成任务,判别任务可以看成是一个自顶向下(从复杂到简单)的任务,他只需要对于输入的高维度的数据进行判别即可,比如分类,检测等等。而与之相对的则是生成任务,其是自底向上(有简单到复杂的),比如给出低维度的随机噪声,要求生成一张图片等,往往具有较大的难度,因为其需要学习到数据整体的分布特征。然而2014年GAN横空出世,其...原创 2019-10-12 16:38:17 · 10033 阅读 · 0 评论 -
DAY6 神经网络及深度学习--优化算法
一、tensorflow实战谷歌深度学习总结1、利用激活函数去线性化a = tf.nn.relu(tf.matmul(x,w1)+biase1)y = tf.nn.relu(tf.matmul(a,w2)+biase2)2、多层神经网络解决异或问题首先,以下是一篇具有启发性的文章为什么感知机不能解决异或问题,为什么深度神经网络可以无限逼近任意连续函数?深...原创 2018-01-25 17:31:40 · 306 阅读 · 0 评论 -
DAY5:神经网络及深度学习基础
一、输入特征的归一化处理零均值化: μ=(1/m)*∑xi x=x-μ归一化方差:σ=(1/m)*Σ(xi-μ) x=x/σ什么时候要进行归一化处理,为什么要进行归一化处理?当不同的feature之间的取值范围相差较大的时候,比如x1的范围为0~1,而x2的范围为0~1000的时候要进行归一化处理进行归一化处理可以使得loss函数的图形在空间中由狭长(learni...原创 2018-01-25 11:30:13 · 186 阅读 · 0 评论 -
DAY4:神经网络及深度学习基础
DAY4:神经网络及深度学习基础一、超参数(hyperparameters)二、训练集,验证集,测试集训练集:【A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier.】学习样本数据集,...原创 2018-01-23 16:23:55 · 315 阅读 · 0 评论 -
DAY3:神经网络基础
一、深度神经网络 符号表述:二、前馈神经网络 结构及其计算过程 parameters W[l] and b[l] dimension 三、深度神经网络的优点(相对于浅层网络)四、前向传播以及反向传播原创 2018-01-22 12:18:44 · 169 阅读 · 0 评论 -
DAY2:神经网络基础和深度学习笔记整理
一、neural network representation二、activation function and their derivative Question:为什么要使用非线性的激活函数?如果使用线性激活函数,那么神经网络不管有多少隐藏层都只是把输入做线性组合然后再输出(两个线性函数的组合 仍然是线性函数)【详见上图】。线性激活函数在回归问题中有时候也是可行...原创 2018-01-19 16:34:37 · 186 阅读 · 0 评论 -
DAY1:神经网络基础和深度学习笔记整理
一、Binary Classfication符号表示: 二、logistic regression其中w,b为待确定的参数,^y为y(training labels)=1的概率值,所以为了使其落在0~1之间,对y的结果作 sigmoid处理三、损失函数损失函数:loss = -(lnlog^y+(1-y)lnl...原创 2018-01-18 19:41:00 · 201 阅读 · 0 评论 -
深度学习中特殊的参数更新方式
在传统的印象当中Back-propagation一般是根据定义的损失函数来更新定义好的网络中的权重参数的,但在DL中有一种比较特殊的情形,更新的目标是图片中的像素点,其用于渲染各种丰富多彩的图片。这主要包括以下两种轻量1.Deep DreamDeep Dream是谷歌在2015年的论文,其主要的出发点就是想看看神经网络究竟学习到了什么。Deep Dream的优化目标是最大化特征提取层所输出...原创 2019-05-02 15:11:22 · 882 阅读 · 0 评论 -
项目梳理
相关项目参考资料梳理一、Project -11.STN(Spatial Transformer Network)详细解读Spatial Transformer Networks(STN)-一篇文章让你完全理解STN了)双线性插值李宏毅深度学习(2017)p5-Spatial Transformwe LayerPytorch中的仿射变换(affine_grid)2.CTC(Conn...原创 2019-05-16 11:35:28 · 426 阅读 · 0 评论 -
Action Recognition from Single Timestamp Supervision in Untrimmed Videos(QA)
Questions & Answers:Abstract:1、什么是时间戳?【A:video中的一个frame】2、如何利用采样分布对时间戳进行初始化?【A:根据采样分布的pdf设置一个threshold,当某一段连续的frame对应的probability超过threshold的时候,则选取该帧】3、如何利用分类器的反馈对采样分布进行更新?【A:根据softmax中clas...原创 2019-07-17 10:46:10 · 556 阅读 · 0 评论 -
Bug Report Classification Summary
1.IntroductionThe target of the Bug Report Classification(BRC) is that classify the bug report through the software report log to justify whether the report is a anomaly.2.Explornation2.1 Data Pre-...原创 2019-08-01 11:35:54 · 298 阅读 · 0 评论 -
关于ai学习过程中的一些反思(持续更新)
大比赛和学术研究确实有比较大的区别,最大的区别就是打比赛是final metric performance为导向的,而学术研究是以provide innovative methodology为导向的,比赛的目的就是通过各种trick,ensemble,data augumentation,pre-training,Batch-normalization等...原创 2019-09-09 08:18:26 · 814 阅读 · 0 评论 -
DAY7: 神经网络及深度学习基础--算法的优化(deeplearning.ai)
一、mini-batch gradient descent(批量梯度下降法)mini-batch size的确定(结余1~m之间,有利于充分利用向量化和每次训练部分样本以提高训练速度)①对于样本总数小于2000个时,用总体的梯度下降法②典型的mini-batch size的大小为 2^6=64,2^7=128,2^8=256,2^9=512,为2的次方时有利于GPU/CPU的计...原创 2018-01-25 22:07:57 · 342 阅读 · 0 评论 -
Tensorflow学习--最佳的深度学习实践案例
2018-1-26Task——Chapter5吃透MNIST识别例子目的:验证神经网络的优化方法,使用MNIST手写数字识别神经网络进行验证。目录:·5.1 Tensorflow处理MNIST手写数字识别数据集·5.2 对比神经网络设计和参数优化的不同方法·5.3 介绍Tensorflow的变量重用问题和变量的命名空间问题·5.4 介绍神经网络模型的持久化问题—直接使用训练好的模型·...原创 2018-01-27 01:47:55 · 5670 阅读 · 0 评论 -
深度学习--为什么要深?
深度学习–为什么要深?一、深度与模块化 \;\;\;\;\;对于一个分类的问题的简化,我们可以先训练一个Basic classfier,然后将其共享给following classfier,通过多层的分类器进行特征的提取,用较少的数据就可以训练好网络。而在deep的模型当中,Basic classfier是由神经网络自己学到的,然后通过更多层的网络可以使得classfier逐...原创 2018-08-13 13:45:41 · 2373 阅读 · 0 评论 -
卷积神经网络解析
转载出处:https://blog.csdn.net/lanran2/article/details/79057994#commentBox ResNet在2015年被提出,在ImageNet比赛classification任务上获得第一名,因为它“简单与实用”并存,之后很多方法都建立在ResNet50或者ResNet101的基础上完成的,检测,分割,识别等领域都纷纷使用ResNet,Alpha...转载 2018-08-18 11:02:39 · 386 阅读 · 0 评论 -
OCR相关文献收录
开设本收录的目的主要在于记录目前较为流行的OCR方法,对OCR领域有一个系统性的认识,同时方便后期相关文章的查阅以及复现。 1、腾讯数平精准推荐(Tencent-DPPR)团队OCR场景文字检测与识别 https://cloud.tencent.com/developer/article/1150987 2、端到端的OCR:验证码识别 https://zhuanlan.zh...原创 2018-09-11 16:35:18 · 1288 阅读 · 0 评论 -
论文:Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey翻译工作
关于对抗性攻击对深度学习威胁的研究Naveed Akhtar and Ajmal MianACKNOWLEDGEMENTS: The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowl...原创 2018-10-31 10:54:32 · 2518 阅读 · 1 评论 -
DL--填坑系列(Back Propagation)
细细数算,在DL这条路上也走了有1年多了,走了很多弯路。感觉看了很多,做了很多,但是基础一直不是很牢固,所以写该博客的目的就是希望此次可以侧重从数学理论基础的角度,即要讲究通俗易懂又要能够进行数学公式的推导。正题,本文要填的坑死Back Propagation,现在网上有各种各样的博客进行相关的介绍,所以这里没有必要再重复造轮子。主要对填坑的过程进行梳理,罗列一些比较好的文章。1.首先需要通过...原创 2019-02-28 11:39:47 · 222 阅读 · 0 评论 -
马氏距离-Mahalanobis Distance
一、学习目的 在训练one-shoting learning 的神经网路的时候,由于采用的是欧式距离,欧氏距离虽然很有用,但也有明显的缺点。它将样品的不同属性(即各指标或各变量)之间的差别等同看待,这一点有时不能满足实际要求。所以效果并不明显。经过一番查阅资料发现马氏距离广泛的被应用在人脸识别的损失函数上面,而且较欧拉距离取得了更好的效果。故对马氏距离进行了解和学习,并将其应用Siame...原创 2018-02-24 16:53:36 · 27595 阅读 · 10 评论 -
关于siamese network训练时,按同样的顺序打乱输入X1,X2以及对应的标签Y(Python实现)
import randoma = [[1,2,3],[4,5,6],[7,8,9],[2,4,6]]b = [[7,8,9],[4,5,6],[1,2,3],[2,4,6]]c = [[1],[0],[1],[0]]cc = list(zip(a,b,c))random.shuffle(cc)aa,bb,cc = zip(*cc)print(aa)print(bb)prin...原创 2018-03-13 10:51:42 · 418 阅读 · 0 评论 -
Contrastive Loss(Siamese Network)
Contrastive Loss (对比损失)孪生神经网络(siamese network)中,其采用的损失函数是contrastive loss,这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下:其中d=||an−bn||2,代表两个样本特征的欧氏距离,y为两个样本是否匹配的标签,y=1代表两个样本相似或者匹配,y...原创 2018-02-14 17:15:39 · 15498 阅读 · 0 评论 -
Tensorflow--多线程数据处理框架
一、队列与多线程队列是多线程数据处理框架的基础,修改队列状态的主要操作有Enqueue、EnqueueMany和Dequeue以下程序展示了FIFOQueue队列的基本操作:import tensorflow as tf #创建一个先进先出的队列,指定队列中最多保存两个元素,并指定类型为整型q = tf.FIFOQueue(2,"int32")init = q.enqu...原创 2018-01-29 15:23:57 · 246 阅读 · 0 评论 -
Tensorflow--图像数据处理
一、TFRecord输入数据格式Tensorflow提供了同一的数据格式TFRecord来存储数据,TFRecord文件中的数据都是通过tf.train.example Protocol Buffer的格式来存储的。其包含一个从属性名称到取值的字典,属性名称为字符串,取值可以为字符串(BytesList)、实数列表(FloatList)、或者是整数列表(Int64List)。以下为TFReco...原创 2018-01-29 00:43:00 · 382 阅读 · 0 评论 -
CNN之LeNet5解决MNIST问题
直接上代码:(原理或细节不懂百度或查书)inference.pyimport tensorflow as tfINPUT_NODE = 784OUTPUT_NODE = 10IMAGE_SIZE = 28NUM_CHANNELS = 1NUM_LABELS = 10CONV1_DEEP = 32CONV1_SIZE = 5CONV2_DEEP = 64CO...原创 2018-01-28 21:01:16 · 944 阅读 · 0 评论 -
迁移学习--Inception-v3
一、准备工作1、python glob module:python文件操作相关模块库——glob用途:查找符合目的文件通配符:支持。*,?,[]这三个通配符,*代表0个或多个字符,?代表一个字符,[]匹配指定范围内的字符,如[0-9]匹配数字。最重要的方法是glob.glob(参数:指定匹配的路径字符串),返回当前目录里的所有匹配的文件路径列表(不包括子文件夹里的文...原创 2018-01-28 20:50:52 · 2281 阅读 · 2 评论 -
正则化L1 regularization、L2 regularization、Dropout
Regularization重新定义了目标函数,为了通过是的权重的值都接近于0,使得目标函数更加的平滑减少样本中的噪声对训练的结果所造成的影响。(用于解决overfitting问题zhengzehua) L′(θ)=L(θ)+、lambda||θ||θ={w1,w2,...,wn}L′(θ)=L(θ)+、lambda||θ||θ={w1,w2,...,wn}L'(\theta)=L(\th...原创 2018-08-12 16:42:33 · 468 阅读 · 0 评论