左左左左想

本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。  在学习神经网络的时候，你会经常听到一个词：激活函数。在最开始学习的时候，对激活函数总是有很多的疑惑。在日常搭建网络的时候选择激活函数也是很随意，看到大家都说ReLU效果好，就一股脑使用ReLU。通常没去深究一些问题：激活函数到底是什么？为什么要使用激活函数？常用的激活函数有哪些？这些常用的激活函数有什

由于最近在学习语音识别和语音合成方面的内容，整理了一些东西，本文为论文tacotron的笔记。tacotron主要是将文本转化为语音，采用的结构为基于encoder-decoder的Seq2Seq的结构。其中还引入了注意机制（attention mechanism）。在对模型的结构进行介绍之前，先对encoder-decoder架构和attention mechanism进行简单的介绍。其中纯属个人

本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。  最近发现自己都没有真正好好学习过TensorFlow，只是看看别人project的代码，然后能跑起来就行，实际自己想要去搭建一些网络还是很困难，因此准备写一个使用TensorFlow实现一些网络的系列。这是第一篇，因此就从最简单的线性回归开始。  首先简单介绍一下线性回归。线性回归的表达式为： y=wx+b

本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。此文中的题目均来自GitHub，完整代码请参考我的GitHub。期待各位的小心心~~~1.初级导入numpy包，并重命名为np (★☆☆)打印numpy库的版本 (★☆☆)输出numpy矩阵的大小 (★☆☆)如何获取numpy库中某一个函数（如add）的帮助文档 (★☆☆)创建一个0向量，向量长度为10

最近看了百度的Deep Speech，看到语音识别使用的损失函数是CTC loss。便整理了一下有关于CTC loss的一些定义和推导。由于个人水平有限，如果文章有错误，还恳请各位指出，万分感谢~附上我的github，欢迎各位的follow~~~献出小星星~1. 背景介绍  在传统的语音识别的模型中，我们对语音模型进行训练之前，往往都要将文本与语音进行严格的对齐操作。这样就有两点不太好：严格对齐要

本文为百度的Deep Speech的论文笔记，本人为深度学习小白，文章内如有错误，欢迎请各位指出~   附上我的github主页，欢迎各位的follow~~~献出小星星~什么是端到端？  对于传统的语音识别，通常会分为3个部分：语音模型，词典，语言模型。语音模型和语言模型都是分开进行训练的，因此这两个模型优化的损失函数不是相同的。而整个语音识别训练的目标（WER：word error rate）与

本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。  在机器学习和深度学习中，过拟合是一个十分常见的问题，一旦模型过拟合了，可能这个模型就无法适用于业务场景中了。所以为了降低产生过拟合的风险，机器学习中的大牛们提出了以下几种方法供大家使用：引入正则化Dropout提前终止训练增加样本量  本文将对这5种方法进行简单的讲解分析。1. 正则化  正则化的思