深度学习
Deep Learning学习笔记。
大桔骑士v
微软程序员,B站账号:大桔骑士v
展开
-
【DL学习笔记】5:自动编码器(AutoEncoder)及其变种
无监督学习的一个重要作用就是降维(Dimension Reduction),比如从大量的人员信息中自动学习到一些对业务有价值的特征,或者用于高维数据的可视化。传统的方法是用PCA、T-SNE或者一些简单的自编码器对数据进行降维。相比监督学习以Label为目标,无监督学习的目标就是原始数据自己。1 简述自动编码器(以下简称AE)是将构造的神经网络模型分为编码器(Encoder) 和解码器(De...原创 2020-02-28 21:56:47 · 2407 阅读 · 0 评论 -
【DL学习笔记】4:长短期记忆网络(Long Short-Term Memory)
在前面学习的循环网路中,因为梯度中有参数weight_hh的k次幂的存在,所以会导致梯度弥散和梯度爆炸的问题。对于梯度爆炸问题,可以用PyTorch笔记22最后面给出的梯度裁剪的方式解决。但是梯度弥散的问题没法这样直接解决,LSTM一定程度上解决了这样的问题,从而为长序列记忆提供了较好的解决方案。长序列难题在原始的循环网络中,实际上能处理的记忆信息比较短。如对自然语言的处理中,只能记住之前较少...原创 2020-02-22 01:58:51 · 1799 阅读 · 2 评论 -
【DL学习笔记】3:循环神经网络(Recurrent Neural Network)
1 序列数据表示1.1 简述语音、文字等有先后顺序,属于序列数据,将序列据表达为能处理的形式就叫Sequence Representation。如对文字而言,PyTorch中没有对string的支持,所以要将其表示成数值形式,相应的方法就是Word Embedding。通常将一个序列表示为[元素数、每个元素的向量长]的Tensor形式:[seq_len, feature_len]...原创 2020-02-18 18:36:46 · 564 阅读 · 0 评论 -
【DL学习笔记】2:ResNet和DenseNet
1 一些经典CNN模型这些经典CNN的架构已经没有学习的必要,只要知道它们引入了什么好的训练方法即可。1.1 LeNet最开始Yann Lecun发明的CNN即是LeNet,用来做手写数字的识别,LeNet-5是2层卷积+2层全连接+1层高斯连接(现在已经不怎么用了)。每层卷积操作后面还跟着下采样,这里的下采样就是使用例如隔行采样的传统下采样方法。1.2 AlexNet2012年Hint...原创 2020-02-16 23:04:24 · 1133 阅读 · 0 评论 -
【DL学习笔记】1:深度学习中的基础知识
一些全局认识AGI通用AI,因为AI目前已成为机器学习、统计分析的代名词,故用AGI来代表AI原来的意思,即真正的强人工智能。CV计算机视觉,目的是让计算机"理解"图像,即从图像或多维数据中感知。NLP自然语言处理,目的是让计算机和人之间用自然语言有效通信,上学期模式识别的课程项目就是在做NLP。ML机器学习,让机器从训练数据中自动进步,从经验中自动学习。DL属于ML。专家系统...原创 2018-06-17 22:58:06 · 907 阅读 · 0 评论