为之则易，不为则难

在NLP领域，sequence to sequence模型有很多应用，比如机器翻译、自动应答机器人等。在看懂了相关的论文后，我开始研读TensorFlow提供的源代码，刚开始看时感觉非常晦涩，现在基本都弄懂了，我在这里主要介绍Sequence-to-Sequence Models用到的理论，然后对源代码进行详解，也算是对自己这两周的学习进行一下总结，如果也能够对您有所帮助的话，那就再好不过了～seq

关于RNN的理论部分已经在上一篇文章中讲过了，本文主要讲解RNN在TensorFlow中的实现。与theano不同，TensorFlow在一个更加抽象的层次上实现了RNN单元，所以调用tensorflow的API来实现RNN是比较容易的。这里先介绍TensorFlow中与RNN相关的几个比较常用的函数，　　(1)cell = tf.nn.rnn_cell.BasicLSTMCell(num_unit

       深度学习算法由于其数据量大、算法复杂度高等特点，常常需要采用某种形式的并行机制，常用的并行方法有数据并行（data parallel）和模型并行（model parallel）两种。尽管现有的深度学习框架大多都支持多GPU，但caffe、theano、tensorflow采用的都是数据并行，而亚马逊推出的DSSTNE（Deep Scalable Sparse Tensor Netwo...

       TensorFlow是一个支持分布式的深度学习框架，在Google的推动下，它正在变得越来越普及。我最近学了TensorFlow教程上的一个例子，即采用CNN对cifar10数据集进行分类。在看源代码的时候，看完后有一种似懂非懂的感觉，又考虑到这个样例涵盖了tensorflow的大部分语法知识，包括QueueRunners机制、Tensorboard可视化和多GPU数据并行编程等。“...

       TensorFlow是一种符号编程框架（与theano类似），先构建数据流图再输入数据进行模型训练。Tensorflow支持很多种样例输入的方式。最容易的是使用placeholder，但这需要手动传递numpy.array类型的数据。第二种方法就是使用二进制文件和输入队列的组合形式。这种方式不仅节省了代码量，避免了进行data augmentation和读文件操作，可以处理不同类型的...

卷积神经网络能够自动从图像中提取有用的特征，并在图像分类领域取得了巨大的成功，关于卷积神经网络的理论网上已经有很多，这里主要是关于其实现部分。虽然以前使用Theano框架实现过，但因为最近项目需要使用TensorFlow框架，这里则采用tensorflow实现该模型。总的来说，同Theano类似，TensorFlow也采用的是张量流图的形式编程，确定出输入变量和输出变量的关系后，在Session中...