Deep Learning
文章平均质量分 88
糖小豆子
做一个快乐的程序员,啃一口酱猪蹄忘记所有烦恼。
展开
-
弱监督学习 weakly supervised learning 笔记
弱监督学习原创 2022-12-28 22:15:57 · 489 阅读 · 0 评论 -
图编码算法总结 Graph Embedding Methods
写在最前来总结一下最近几周看的图编码算法,还蛮有意思的。图算法:1.经典数据结构与算法层面:最小生成树(Prim,Kruskal,…),最短路(Dijstra,Floyed,…),拓扑排序,关键路径等;2.概率图模型,涉及图的表示,推断和学习,Koller的书/公开课;3.图神经网络,主要包括Graph Embedding (基于随机游走)和Graph CNN(基于邻居汇聚)两部分。图编码:Graph Embedding技术将图中的节点以低维稠密向量的形式进行表达,要求在原始图中相似(不同的原创 2021-11-12 20:37:48 · 2258 阅读 · 0 评论 -
结构数据:ARM-Net: Adaptive Relation Modeling Network for Structured Data
ARM-Net: Adaptive Relation Modeling Network for Structured DataSIGMOD ’21 comp.nus.edu.sgABSTRACT关系数据库是存储和查询结构化数据的标准,从结构化数据中提取见解需要高级的分析。深度神经网络(DNNs)已经在特定的数据类型(如图像)中实现了超人类的预测性能。然而,现有的DNN在应用于结构化数据时可能不会产生有意义的结果。原因是表中属性值的组合之间存在关联和依赖关系,而这些关联和依赖关系不遵循简单的可被DNN翻译 2021-05-12 15:12:08 · 572 阅读 · 2 评论 -
论文笔记《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
Abstract介绍了一种新的语言表示模型BERT,它代表Transformers的双向编码器表示。与最近的语言表达模型不同,BERT是预先训练深层双向表示,通过联合调节所有层中左右的上下文。因此,可以通过一个额外的输出层对预训练的BERT表示进行微调,以创建适用于各种任务的最新模型,如回答问题和语言推理,而无需对特定于任务的体系结构进行实质性修改。BERT概念简单,经验丰富。它在11项自然语...翻译 2019-05-21 16:21:45 · 576 阅读 · 0 评论 -
论文笔记《Neural Architecture Search With Reinforcement Learning》
摘要神经网络是一种强大而灵活的模型,能够很好地解决图像、语音和自然语言理解中的许多困难学习任务。尽管成功,神经网络仍然很难设计。在本文中,我们使用一个循环网络来生成神经网络的模型描述,并通过强化学习训练该RNN,以最大限度地提高生成的架构在验证集上的预期精度。在cifar-10数据集上,我们的方法从无到可以设计出一种新的网络体系结构,在测试集精度方面可以与人类发明的最佳体系结构相媲美。我们的ci...翻译 2019-04-25 15:09:42 · 729 阅读 · 0 评论 -
LSTM原理复习整理
LSTM网络long short term memory,即LSTM,是为了解决长期以来问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中,这个重复的结构模块只有一个非常简单的结构,例如一个tanh层。LSTM 同样是这样的结构,但是重复的模块拥有一个不同的结构。不同于单一神经网络层,这里是有四个,以一种非常特殊的方式进行交互。图中使用的各种...原创 2018-08-04 16:18:07 · 1273 阅读 · 0 评论 -
论文笔记《Part-of-Speech Tagging for Twitter with Adversarial Neural Networks》
这里记录近两个月阅读论文中,最贴近项目需求的几篇论文,此博为其中一篇,也是思想引用最多的一篇。 0、Paper basic information Authors:Tao Gui, Qi Zhang∗, Haoran Huang, Minlong Peng, Xuanjing Huang School: Fudan University Published 2017 in EMNLP 1...原创 2018-07-02 15:21:00 · 960 阅读 · 0 评论 -
Coursera之deeplearning.ai:CNN-Art Generation with Neural Style Transfer
Deep Learning & Art: Neural Style Transfer算法为Gatys et al.(2015)提出的(https://arxiv.org/abs/1508.06576). 在本实验中,可以实现neural style transfer algorithm;使用算法生成艺术图像。 很多算法通过优化一个成本函数来获得一组参数值,在Neural Style...原创 2018-04-24 16:35:24 · 788 阅读 · 0 评论 -
利用pytorch实现迁移学习之猫狗分类器(dog vs cat)
迁移学习迁移学习(Transfer learning) 就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的,所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。 本文使用VGG16模型用于迁移学习,最终得到一个能对猫狗图片进行辨识的CNN(卷积神...原创 2018-04-23 15:04:31 · 13059 阅读 · 14 评论 -
Pytorch常用函数积累
Pytorch中文文档 1、torch.index_select(input, dim, index, out=None) → Tensor>>> x = torch.randn(3, 4)>>> x 1.2045 2.4084 0.4001 1.1372 0.5596 1.5677 0.6219 -0.7954 1.3635 -1...原创 2018-03-26 11:40:09 · 11497 阅读 · 0 评论 -
论文笔记《PaletteNet: Image Recolorization with Given Color Palette-reading notes》
1、Paper basic information author:Junho Cho and Sangdoo Yun and Kyoungmu Lee and Jin Young Choi journal:2017 IEEE Conference on Computer Vision and Pattern Recognition year:2017 Volume:2017 July ...原创 2018-03-12 14:19:59 · 1164 阅读 · 3 评论 -
论文笔记《A Closed-form Solution to Photorealistic Image Stylization-reading notes》
1、Paper basic information Authors:Yijun Li、Ming-Yu Liu、Xueting Li、Ming-Hsuan Yang、and Jan Kautz ( University of California, Merced ; NVIDIA) Comments: 11 pages, 14 figures Subjects: Computer V...原创 2018-03-07 22:20:58 · 2612 阅读 · 5 评论 -
CS231n-深度学习与计算机视觉-笔记-Lecture7.3 迁移学习
迁移学习transfer learning 我们看到使用正则化,加入不同正则策略可以帮助减小,训练误差和测试误差的间隙,过拟合的一个问题,有时候过拟合是由于数据不够,你希望得到一个大的、功能大的模型,一个大的功能强大网络在你使用,小数据集合时很容易过拟合,正则化是一种处理它的方法。另一种方法是使用迁移学习。使用迁移学习,你不需要超大的样本集,也能训练卷积神经网络。 它的思想很简单,首先找到原创 2018-02-04 11:23:47 · 730 阅读 · 0 评论 -
CS231n-深度学习与计算机视觉-笔记-Lecture5 卷积神经网络
1.历史 2.卷积和池化 先从函数角度了解工作原理,简单介绍这些连接点。 对于全连接层,我们要做的就是在这些向量上进行操作。比如我们有一张图片,三维图片32*32*3大小,我们将所有的像素展开,就可以得到一个3072维的向量。我们得到这些权重,把向量和权重矩阵相乘,这里我们就用10*3072,然后就可以得到激活值。 卷积层和全连接层的主要差别,可以保全空间结构,不是将它展开成一个长原创 2018-01-19 16:59:09 · 707 阅读 · 0 评论 -
CS231n-深度学习与计算机视觉-笔记-Lecture3 损失函数和优化
线性分类属于参数分类的一种,所有的训练数据中的经验知识都体现在参数矩阵W中,而W通过训练过程得到,我们拿到一张照片拉伸成一个长的向量,这里的图片假设叫做X,应该是拉伸成一个三维长向量(32,32,3),一共3个,其中高度和宽度都是32像素。3则代表颜色通道红绿蓝,还存在一个参数矩阵W,把这个代表图片像素的列向量,当作输入,然后转化成10个数字评分。线性分类可以理解为每个种类的学习模板,左下角的图对原创 2017-12-28 22:35:49 · 1276 阅读 · 0 评论 -
CS231n-深度学习与计算机视觉-笔记-Lecture2 图像分类
CS231n 深度学习与计算机视觉 笔记 Lecture2 图像分类原创 2017-12-26 22:02:21 · 606 阅读 · 4 评论