Deep Learning Study
文章平均质量分 79
老笨妞
29岁开始纯软的老笨妞。
展开
-
DUL学习心得(二):flow模型之RealNVP
在学习伯克利CS294-158-SP20第3节课时,课程中提到的一种flow模型的结构RealNVP,并在课后作业也有相关的练习,于是,笔者读了这篇论文,并对课程中的基本知识进行理解,然后跟着课后作业,分析了代码。论文在此,如有兴趣请查看。 Flow 模型是基于样本进行概率密度估计变通方法中的一种,其他的变通方法还有VAE,GAN。为什么会有出现这些变通方法呢?因为基于样本算它们所服从的最优分布的太难算了,于是大家就想办法简化它或者近似计算它。Real NVP是fl...原创 2021-09-14 16:07:42 · 4392 阅读 · 1 评论 -
deepUL学习心得 (1):无监督学习模型前言
作为机器学习的工业应用者,几年下来,对有监督学习的好感越来越低了。每天接收大量的数据,那个早期的标注数据会越来越落后。所以,现在要用有监督学习,首先会去看看自己的数据有没有天然的,并且一直更新的标注,如果没有,那就先考虑无监督学习,最后的策略才是找人标注数据。无监督学习有好几种模式,目前笔者能总结出来的无监督学习有一下几种:聚类聚类是应用最广泛,历史最悠久的无监督学习吧。它依据特征向量的相似性或者向量空间位置对空间中的样本进行划分,从而形成不同类别。由于历史悠久,目前有很多种聚类方法,像最经典的原创 2021-09-09 09:00:44 · 437 阅读 · 0 评论 -
HRL-RE学习笔记——端到端训练实体和关系抽取
本文是对《A Hierarchical Framework for Relation Extraction with Reinforcement Learning》这项工作的理解和分析。很久没有深入分析一篇论文了,这篇算是笔者今年第一篇深入分析的工作,为什么要深入分析呢?大概是因为它可以一次搞定实体识别和关系分类,同时又采用了比较时髦的强化学习。论文作者友好的提供了pytorch下的代码。因此,...原创 2019-05-17 17:08:41 · 2455 阅读 · 2 评论 -
图像风格迁移——《A Neural Algorithm of Artistic Style》
之前看到别人玩图像风格迁移,感觉挺有意思的,趁着空下来的时间自己玩了一下。还是沿着老方法,先看一下论文,然后跑跑程序。论文看的是最基础的《A Neural Algorithm of Artistic Style》,程序嘛,当然不是笨妞自己写的,跑了keras安装文件夹下examples里面的例子1. 论文概括这篇论文写得很容易懂,虽然连笨妞这么啰嗦的人都觉得有点啰嗦。原本想直接翻译的,但是,实际核...原创 2018-03-28 19:03:26 · 12131 阅读 · 15 评论 -
NLP论文笔记1:Neural Architectures for Named Entity Recognition
看这一篇论文的主要目的是看BILSTM-CRF模型,对于实际应用,CRF看分词、BILSTM-CRF做NER,接下来通过BILSTM-CNN-CRF做序列标注,NLP几个基本的应用也差不多了,句法分析貌似比较复杂,留作以后吧。********************开始论文吧****************一.叙述命名实体识别一直是更具挑战性的NLP应用,为什么更具挑战呢?原因有两方面,一方面,可用原创 2017-12-26 18:31:14 · 6823 阅读 · 4 评论 -
最大似然估计、贝叶斯估计、最大后验估计理论对比
本文要总结的是3种估计的原理、估计与目标函数之间的关系。这三种估计放在一起让我晕头转向了好久,看知乎,看教材,有了以下理解。以下全部是个人看书后的理解,如有理解错误的地方,请指正,吾将感激不尽。 来自教材《深度学习》5.4-5.6… 关于频率派和贝叶斯派:频率派认为估计的模型是固定的,只是参数θ未知,而数据集样本是随机变量。 个人理解,意思是生成真实数据集的概率分布只有一个,只是我们暂时只能得原创 2017-10-10 10:11:43 · 9631 阅读 · 0 评论 -
《Deep Learning》学习3——L2、L1正则化
L2、L1参数范数正则化原创 2017-08-24 13:30:31 · 1825 阅读 · 0 评论 -
《Deep Learning》学习5——循环神经网络梯度计算
很久以前看过循环神经网络的相关知识,但一直没有推梯度。这次仔细的看了一遍梯度推导。关于循环神经网络的前向理论,http://blog.csdn.net/juanjuan1314/article/details/52020607 这一篇译文已经有详细的写过了。这里就不赘述了。本文主要记录梯度推导过程,另外补充前向通道之前没有看过的理论。1.前向补充卷积神经网络的主要思想:稀疏交互、参数共享、等变表示。原创 2017-09-04 20:19:06 · 3691 阅读 · 0 评论 -
《Deep Learning》学习4——卷积神经网络理论碎片
卷积神经网络专门针对网格结构的数据的神经网络,例如时间序列数据、图像数据,它在图像和文本数据上都有不俗的表现。前面已经通过过简单的cnn、alexnet这两个cnn神经网络实践来初步了解了CNN,现在,学习CNN的底层原理。全连接网络相当于是矩阵乘法组成的神经网络,而卷积网络基于卷积运算,但卷积神经网络实际的应用中,卷积运算只是其中的一步,后面还有激活、池化,以及有一些cnn会加入正则化方法drop原创 2017-09-04 17:47:49 · 896 阅读 · 0 评论 -
《Deep Learning》学习2——梯度优化
梯度优化的理论基础原创 2017-08-12 11:32:28 · 531 阅读 · 0 评论 -
《Deep Learning》学习1——基于特征分解的主成分分析
这篇文章是基于《Deep Learning》第二章以及UFLDL Tutorial之主成分分析做的总结和python算法实现。《Deep Learning》第二章主要讲的是矩阵的一些重要性质,由于《Deep Learning》完全讲理论,且很严肃正统,所以,顺带结合UFLDL和斯坦福cs229对应课程一起学习,同时跑UFLDL提供的练习。 一.纯理论1. 线性相关当我原创 2017-08-10 15:31:53 · 689 阅读 · 0 评论 -
CDL(协同深度学习)——一种基于深度学习的推荐系统
此文实际上是读论文《Collaborative Deep Learning for RecommenderSystem》的读书笔记。这一篇论文出自香港理工大学王灏博士,论文讲了一种紧耦合的混合式推荐算法。主要是栈式自编码器sdae和CTR通过贝叶斯图方式结合。1. 概述 当前推荐算法主要是基于内容(CB)、协同过滤(CF)、混合算法。基于内容的推荐依靠用户pro原创 2017-04-11 11:04:34 · 20160 阅读 · 4 评论 -
Word2vec——文本深度表示模型
简介Word2vec 是 Google 在 2013 年年中开源的一款将词表征为实数值向量的高效工具, 其利用深度学习的思想,可以通过训练,把对文本内容的处理简化为 K 维向量空间中的向量运算,而向量空间上的相似度可以用来表示文本语义上的相似度。Word2vec输出的词向量可以被用来做很多 NLP 相关的工作,比如聚类、找同义词、词性分析等等。如果换个思路, 把词当做特征,那么Word2v转载 2016-04-26 11:45:55 · 4325 阅读 · 0 评论 -
caffe各层总结
转自http://www.myexception.cn/other/1828071.html如何在Caffe中配置每一个层的结构最近刚在电脑上装好Caffe,由于神经网络中有不同的层结构,不同类型的层又有不同的参数,所有就根据Caffe官网的说明文档做了一个简单的总结。1. Vision Layers1.1 卷积层(Convolution)类型:CO转载 2016-03-14 18:09:34 · 4939 阅读 · 0 评论 -
caffe 在windows系统下的配置,以及matlab接口配置
前期配置后资源下载在http://blog.csdn.net/happynear/article/details/45372231Caffe配置过程1. 下载的是某个牛人加入了第三方库的caffe-windows-master。2. 配置前先安装好了cuda 7.5。3. 双击./src/caffe/proto/extract_proto.原创 2016-03-07 14:47:42 · 8266 阅读 · 9 评论