深度学习
文章平均质量分 95
深度学习基础原理,机器学习进阶。
小小何先生
总是感觉自己是个英雄,还很帅!
展开
-
多任务学习(Multi-Task Learning)
本节主要聊聊从单任务到多任务 (Multi-Task) 的机器学习。 那什么是Multi-Task Learning呢?我们又是怎么来做这个Multi-Task Learning的呢?What is Multi-Task Learning? 首先我们需要知道什么是一个task呢?在一个task里面我们会有一个量化的指标,有这个task生成出来的数据,以及我们会有一个model去opt...原创 2020-08-28 11:06:41 · 9719 阅读 · 2 评论 -
少样本学习系列(四)【元学习与少样本深层理解】
元学习定义? 深度学习地发展主要是表征学习地发展,也就是如何更好地看到和理解数据,然后用于传统地算法中,从而取得较好地效果。这也是为什么外界对于AI持怀疑态度,因为并没有什么很原理性地算法被提出,及时看起来比较前沿地元学习也是90年代就已经形成地概念。整个AI框架下表征只是其中一环,像超参数地设计、结构地设计、逻辑推理,先验知识地引入等等都是AI中非常重要地组成部分,而元学习将AI地这些元素,像超参数、先验知识等做起来了。 元学习更像是在有监督和无监督之间存在地一个灰色地带,在很多情况下不是一点监督翻译 2020-07-30 16:57:10 · 1139 阅读 · 0 评论 -
少样本学习系列(三)【Optimization-Based Methods】
文章目录Model-agnostic meta-learning (MAML)LSTM Meta-LearnerLSTM meta-learner algorithm 大多数深度学习算法都采用基于梯度的方法做优化,但是这种方式需要大量的sample来更新算法,元学习(learn to learn)算法主要是解决算法如何在任意的loss function下收敛,而不是单个task的loss function。这样的算法提取的是更高层次的信息。 在基于梯度的优化算法里面,如果我们通过某种方式知道了整个的原创 2020-07-12 12:49:27 · 1520 阅读 · 0 评论 -
少样本学习系列(二)【Model-Based Methods】
文章目录Neural Turing Machines (NTMs)参考 上一节说了Metrics-Based Methods,主要是将输入编码到一个相同的特征空间,然后比较相似度。但是人类很多时候能够快速学习的原因是对以往知识、经验的利用。因此通过扩展一个记忆模块似乎也能做到少样本学习。这一节主要介绍通过模型结构的设计,来做few shot learning。Neural Turing Machines (NTMs)Neural Turing Machines LSTM将记忆藏在隐藏节点(原创 2020-07-11 20:40:11 · 871 阅读 · 0 评论 -
少样本学习系列(一)【Metrics-Based Methods】
如下图所示,传统的图像分类任务是基于左边的给定训练数据,获得model,然后在右边的数据集上测试model的好坏。 而对于小样本问题,其训练数据和测试数据如下所示: 我们拥有的是大量的上方这些数据,也就是对于training中的airplane、automobile等,我们有很多数据,而对于下方Testing中像dog、frog等新的分类问题,只有很少的标注数据。 在了解Matching Networks之前,先要理解一下One-Shot Learning中的一个非常基础的概念N-way原创 2020-07-10 20:36:02 · 3290 阅读 · 0 评论 -
循环神经网络系列(二) LSTM 和 GRU
文章目录LTSM遗忘门输入门输出门GRU 本文是RNN的学习笔记,主要是整理了一下,如有侵权请联系删除。 LSTM(long short-term memory)和GRU(gated recurrent unit)的思路有点类似渗漏单元,通过门控来决定信息的保留与否,从而使得梯度不消失也不爆炸。 这里并没有对LSTM和GRU做梯度计算,其过程和循环神经网络系列(一) RNN、双向RNN、深度RNN类似,感兴趣小伙伴可以自己推导一下(以后自己用到的时候再来推导补上,大概率不会用到,哈哈哈哈)。L翻译 2020-07-10 16:02:28 · 509 阅读 · 0 评论 -
循环神经网络系列(一) RNN、双向RNN、深度RNN
文章目录计算图RNN网络设计可变长输入零长度输入序列单长度输入序列多长度输入序列输出序列长度BPTT 训练算法双向RNN深度RNN更多参考 RNN(recurrent neural network)是一种处理序列数据的网络,所谓的序列数据是像文本、语音等需要考虑数据前后关联的这样一种数据。其数据可表示为如下这种形式:xi={x→i(1),x→i(2),⋯ ,x→i(τi)}\mathbf{x}_{i}=\left\{\overrightarrow{\mathbf{x}}_{i}^{(1)}, \ove翻译 2020-07-09 23:31:04 · 810 阅读 · 0 评论 -
图系列(一)图神经网络
文章目录Spatial-based convolutionNN4G (Neural Networks for Graph)DCNN (Diffusion-Convolution Neural Network )MoNET (Mixture Model Networks)GraphSAGEGAT (Graph Attention Networks)GIN (Graph Isomorphism Network)Spectral-based convolution学习资源 Graph Neural Netwo翻译 2020-07-04 21:30:05 · 3348 阅读 · 4 评论 -
深度学习系列(三)【人类语言处理--语音转换】
文章目录引言算法引言 语音转换Voice Conversion (VC),是希望转换音色,在神经网络中描述就是输入一段声音讯号,输出一段声音讯号,但是音色已经发生了改变(内容一样)。Samples for “Unsupervised Singing Voice Conversion”https://enk100.github.io/Unsupervised_Singing_Voice_Conversion/https://tencent-ailab.github.io/pitch-翻译 2020-05-18 00:28:52 · 4301 阅读 · 2 评论 -
深度学习系列(二)【人类语言处理--语音辨识】
在语音辨识中输入是语音信号,输出是对应的文字。语音表示为一个序列向量(长度为T\text{T}T,维度为 d\text{d}d)。输出的Text一般表示为一个Token序列,长度为N\text{N}N,V\text{V}V个不同的token所构成,通常 T>N\text{T} > \text{N}T>N。 在实际运用的过程中,有时候也会从声音信号直接得到word embe...翻译 2020-05-18 00:28:41 · 1940 阅读 · 0 评论 -
深度学习系列(一)【人类语言处理--引言】
本文主要是对李宏毅教授的《Deep Learning for Human Language Processing (2020,Spring)》这门课程笔记。所有课程资料可以在以下链接中找到:http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html。 语言可以分为自然语言处理(NLP)和机器语言。自然语言就是人类日常交流中的语言,...翻译 2020-05-18 00:28:27 · 450 阅读 · 2 评论