- 博客(29)
- 收藏
- 关注
RSS订阅原创 基于语音合成的韵律表示
传统韵律的表达方式一般由语言学家定义，分为重读、音调、节奏感等，这种方式需要通过标签数据去学习韵律的表示。大量的标签数据往往消耗较多的人力，且难以保持高度的标注一致性。探索一种基于深度学习自动学习韵律特征表示的方式，对应用场景如语音合成、发音韵律评估、韵律反馈等具有较大的意义。本文将对现有的语音合成应用中的韵律表示进行阐释。图 1 Deep voice 1Deep voice系列由...
2019-10-01 12:16:43
2035
原创 英语二语者韵律的评估
最近写了一篇比较枯燥的简介，要有耐心看完哦。评估二语者的英语一般从两个角度进行评估：1、音段内容2、超音段内容。其中音段内容主要包括音素、词语、句子的发音，超音段内容一般又称为韵律相关的内容。这篇博客将会从韵律角度讲述现有的二语者韵律反馈和评估方式。韵律特征一般体现在音高、音强、发音时长等特征。这些特征可以由音频的基本参数表示。如音高，可由基频即F0表示，基频即当发声体由于振动而发出声音时...
2019-09-15 21:25:53
601
原创 语音识别基础
传统的语音识别主要基于HMM（隐马尔可夫模型）以及GMM（高斯混合模型）。 HMM主要由三个要素构成，初始概率、转移概率与观测概率。比如玩游戏抛硬币，有两个硬币放在盒子中，硬币1与硬币2，每次选取一个硬币，抛掷并观测其正反面。在这个游戏中，由于最终玩家只能知道硬币的正反，并不知道这个硬币是硬币1与硬币2，因此这个游戏总共有两个隐藏状态，硬币1与硬币2。初始概率即选取硬币1...
2019-01-06 22:23:54
516
原创 多任务学习权重的动态调整
MTL多任务学习主要为了多任务之间能够共享信息。一般做法是将各任务的目标进行加权求和进行统一优化。如果各任务之间能够做到互不竞争，每个任务将得以充分优化。然而，多任务学习容易造成某些任务占主导地位，其他任务无法优化充分。本文主要是关于两篇动态调整多任务权重的论文的记录。1、Multi-Task Learning Using Uncertainty to Weigh Losses ...
2018-10-28 16:23:18
13037
5
原创 关于深度网络中的Normalization：BN/RBN/WN/LN的记录
深度前馈网络中前层输入的变化往往会引起后面层的变化，后面的层需要不断地调整自己的参数去适应前层的输入变化，这被称为internal covariance shift。这不仅会使网络训练变得缓慢，同时会让一些非线性激活函数如sigmoid更容易进入饱和区。 传统的方法通过采用白化对样本进行预处理，让样本的特征之间独立同分布，来解决这个问题。如何对深度网络进行归一化？...
2018-10-14 17:49:51
1253
原创 关于IRGAN的记录
本文是对IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models论文阅读的笔记，以便日后查看。 该篇论文基于生成对抗网络的框架，对其中的生成模型进行改进，从有标签或无标签样本中选择最难区分的样本，给判别模型进行判定，达到动态调整输入的数据，...
2018-10-02 12:31:39
909
原创 关于SeqGan的记录
最近阅读了两篇关于seq gan的论文，以下为两篇论文的记录。1、SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient 将gan应用于序列生成中会遇到一些问题：1、generator的作用是为了让输出连续，discriminator指导generator更新，而序列生成是离散的，discrimina...
2018-09-02 18:21:37
5544
6
原创 生成对抗网络记录（二）
最近看了李宏毅老师关于gan的课程，并阅读了一些相关的论文，做一些笔记以便日后回顾。 文字转化为图像，如果仅仅通过传统的有监督学习，将会导致生成的图像很模糊。比如，图像为多个火车的不同侧面图与正面图，有监督学习学到的图片最终将是这些图片的平均。因此需要使用gan去训练。如果只是采用传统的gan的话，输入文字与分布z，generator生成一幅图像，将会导致训练完后ge...
2018-09-02 18:08:11
373
原创 生成对抗网络记录（一）
最近看了李宏毅老师关于gan的课程，并阅读了一些相关的论文，做一些笔记以便日后回顾。 Gan网络主要是给定一个数据Pdata的分布，让机器去学习一个分布PG，让PG与Pdata分布尽可能接近。学习PG的过程，可以通过最大似然去实现。通过一系列的证明，可以看到最大似然与最小kl散度相等。 传统的PG使用一个高斯分布去拟合图像的分布，因为图...
2018-09-02 17:56:52
2763
原创 机器翻译模型简介（三）
本系列将记录一些最近的机器翻译模型，作为笔记，以备日后查看。3、Attention Is All You Need 本文提出一个新的网络结构transfomer，不采用卷积与循环神经网络，仅仅依赖于注意力机制。对于循环神经网络由于其序列输入特性，导致难以并行。而卷积网络可以捕获任意位置的信息，导致随着距离的增大，也越难学习长距离的依赖关系。本文提出一种自注意机制的端到端网络。结构...
2018-08-26 18:10:22
1188
原创 机器翻译模型简介（二）
本系列将记录一些最近的机器翻译模型，作为笔记，以备日后查看。2、Convolutional Sequence to Sequence Learning 本文提出用卷积网络进行序列到序列模型的建立，针对循环神经网络中现有的时序优势，将卷积网络进行改进，采用pos embedding,多跳attention以及多层卷积等，以将卷积适用于这种时序的场景。整体框架如下图： ...
2018-08-26 18:03:52
1755
原创 机器翻译模型简介（一）
本系列将记录一些最近的机器翻译模型，作为笔记，以备日后查看。1、Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 这篇论文试图解决神经网络机器翻译的一些问题：1、较慢的训练与预测速度，2、解决稀少词的预测3、不能够完全覆盖翻译源句。...
2018-08-26 17:57:50
7414
原创 关于对抗训练的记录
最近看了一些关于对抗训练的论文，作一些笔记以备以后可以查看回顾。现实中的时间序列或图像，往往都是连续的。而我们输入到模型中的数据，往往是不连续的。连续的输入往往能产生较好的模型泛化能力。因此，有人提出在输入中加入微小扰动试图使模型更好的对抗噪声扰动。[1]提出fast gradient sign method来生成对抗样本，将对抗样本的损失加入到原有的损失函数，进行训练，可以使模型更好的对抗扰...
2018-08-12 22:28:34
1359
原创 关于自然语言与图像的一些想法
最近看了一些关于机器翻译领域的论文，做了一些这块的实验，算是初步入门自然语言处理了。尽管自己曾经做图像这块也很少，但是自己仅有的一些深度学习经验也就是图像这块了。刚开始做机器翻译的时候，总是将它与图像处理类比，渐渐发现图像和自然语言处理的差别还是挺大的，将图像理论用于自然语言处理中，有时会想不通。先总结一些区别，之后慢慢补充。如有错误，望提出来一起探讨。1、图像的原始特征即图像的...
2018-07-15 20:35:26
3043
1
原创 Tensorflow分布式MirroredStrategy简介
最近由于一直在使用tensorflow多卡训练，遇到一些问题，于是查看了一些关于estimator关于多卡分布式策略的代码，主要了解了关于MirroredStrategy的相关内容。tf.estimator.Estimator初始化时可以在config中train_distribute设置相应的分布式策略，今天主要记录train_distributtf.contrib.distrib...
2018-07-15 19:50:13
9399
1
原创 子词切分算法
最近使用transformer训练机器翻译模型，期间也看了一些关于数据预处理分词的方法，了解了transformer[1]的subtokenizer以及bpe算法。 其中subtokenizer分为形成词汇表与处理训练文本两个部分。 形成词汇表部分，首先通过空格为间隔切分原始文本并统计词语与词频数，其次根据上个步骤的统计形成初始的每个单词或单字词汇表。通过迭代一定的次数不...
2018-07-01 22:46:20
3412
2
原创 Fine tune using tf.estimator with distribution strategy
最近训练模型时遇到一些问题，记载下来以备以后可以查看。在使用tensorflow的接口estimator遇到一些问题，官方的api也不是很具体，因此通过搜索与查看源码，一步步熟悉其操作与原理，并解决了问题。tf.estimator是专为分布式设计的，其中包含很多分布式策略。包含如下参数：1、model_fn，该函数的输入包含feature、label、config、mode一些参数设置等，对于...
2018-06-23 21:38:28
1594
原创 随机梯度下降及其变种的综述
随机梯度算法作为重要的一阶优化算法，每次采用小部分样本进行梯度的更新，迭代速度比较快。在随机梯度算法的基础上，为了选择合适的学习率，出现动量法与自适应学习率算法。为了更好的学习稀疏特征，随机梯度下降算法融合RDA以及FOBOS形成FTRL算法。由于随机梯度下降算法每次采用部分样本进行梯度计算，引入较大的方差，因此提出减少方差的随机梯度算法svrg以及sag算法。本文将从随机梯度下降算法开始，并对其
2018-01-17 18:08:30
2687
原创 随机梯度下降中的优化算法
1、动量法加入历史梯度累积，作为下降方向。2、Nesterov 加速梯度法在之前的累积梯度上前进一步，根据当前情况进行修正。相较于动量法，增加了当前情况的修正。动量法容易在梯度的来回震荡中抵消一部分动量作用，Nesterov加速梯度法有效改进了不足之处。3、Adagrad算法以上两种动量法都是对不同的参数进行同样的调整，对于稀疏矩阵，往往一些参数更新频繁，另一些
2018-01-08 16:27:10
1676
原创 在windows上安装tensorflow gpu
近期，我在电脑上安装了tensorflow gpu版本，遇到一些问题，在这里写一些解决方案。1、安装python32、安装tensorflow gpu:pip install tensorflow-gpu3、查看显示适配器中关于NVIDIA，https://developer.nvidia.com/cuda-gpus，查看是否支持cuda4、下载cuda,https://devel
2017-06-06 22:19:02
689
原创 稀疏自编码器tensorflow
自编码器是一种无监督机器学习算法，通过计算自编码的输出与原输入的误差，不断调节自编码器的参数，最终训练出模型。自编码器可以用于压缩输入信息，提取有用的输入特征。如,[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]四比特信息可以压缩成两位,[0,0],[1,0],[1,1],[0,1]。此时，自编码器的中间层的神经元个数为2。但是，有时中间隐藏层的神经元个数可能超过输出
2017-03-24 20:07:57
4796
原创 Tensorflow实现与门感知机
感知机是最简单的神经网络，通过输入，进行加权处理，经过刺激函数，得到输出。通过输出计算误差，调整权重，最终，得到合适的加权函数。今天，我通过tensorflow实现简单的感知机。首先，初始化变量： num_nodes = 2 output_units = 1 w = tf.Variable(tf.truncated_normal([num_nodes,outp
2017-03-12 21:07:19
1382
原创 Tensorflow lstm实现的小说撰写预测
最近，在研究深度学习方面的知识，结合Tensorflow，完成了基于lstm的小说预测程序demo。lstm是改进的RNN，具有长期记忆功能，相对于RNN,增加了多个门来控制输入与输出。原理方面的知识网上很多，在此，我只是将我短暂学习的tensorflow写一个预测小说的demo,如果有错误，还望大家指出。1、将小说进行分词，去除空格，建立词汇表与id的字典，生成初始输入模型的x与yd
2017-03-10 14:48:37
6172
原创 决策树的实现原理与matlab代码
很久不写博客了，感觉很长一段时间只是一味的看书，疏不知一味地看书、写代码会导致自己的思考以及总结能力变得衰弱。所以，我决定还是继续写博客。废话不多说了，今天想主要记录数据挖掘中的决策树。希望能够将自己的理解写得通俗易懂。决策树是一种对实例分类的树形结构，树中包含叶子节点与内部节点。内部节点主要是数据中的某一特
2016-10-23 10:55:09
54711
30
原创 安卓中的fragment与viewPager的使用问题的解决
最近使用viewPager，结合fragment使用，发现fragment的周期将不符合他的原有的周期流程，多个fragment将会产生错位问题。 通过研究相关代码，发现fragment的切换实际调用的函数为setUserVisibleHint，通过在其中重写方法，将会达到fragment正确切换的效果。 public void setUserVisibleHint(b
2015-03-28 17:38:48
776
原创 安卓实现弹出软键盘屏幕自适应调整
今天，我通过尝试诸多方法，最终实现了软键盘弹出屏幕的自适应。 其实，一开始我想通过EditText的事件来实现，后来发现，安卓自带的函数十分强大，只需几行代码，便可实现。实现如下： 在Manifest中设置activity的属性：android:windowSoftInputMode="adjustUnspecified|stateHidden|adjustResize"
2015-03-21 22:54:27
3363
原创 通过C语言将文法转化为语言
最近在学习编译原理，在做一道题时，突然产生想法，想通过C语言将文法产生的语言表现出来。 题目如下： 给定文法：S::=aB|bA A::=aS|bAA|a B::=bS|aBB|b 该文法所产生的语言是什么？ 程序如下，可以注意相关的程序注解#include#include#in
2015-03-16 19:47:00
1146
原创 如何让应用在清除内存时保持运行
最近在写聊天软件。一个聊天软件需要做到在清除内存时仍能保持其应有的状态。 首先，我尝试在应用的Service中的onDestroy（）进行重启应用，经过测试，发现被强制清除内存的应用不会调用Service的onDestroy,只会调用activity的onDestroy（），于是我决定在触发activity的onDestroy( )处发送广播给应用的静态广播接收器，然后让广播接收器进行
2015-03-15 19:16:11
714
原创 listview与复选框的合并使用
在使用listview的过程中，我们常常需要使用复选框，实现一些批处理功能。这时候我们需使用自定义的adapter，实现相关复选框的事件响应。 首先在adapter定义一个哈希表，用于存放复选框的选中情况： 如private static HashMap isSelected，private static HashMap isSelected等等 其次定义两个函
2015-03-14 23:39:06
382
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人