大学之道，在明明德

@翻译：huangyongye原文链接： Understanding LSTM Networks前言：其实之前就已经用过 LSTM 了，是在深度学习框架 keras 上直接用的，但是到现在对LSTM详细的网络结构还是不了解，心里牵挂着难受呀！今天看了 tensorflow 文档上面推荐的这篇博文，看完这后，焕然大悟，对 LSTM 的结构理解基本上没有太大问题。此博文写得真真真好！！！为了帮

本文主要介绍如何在 ubuntu 系统中配置 GPU 版本的 tensorflow 环境。主要包括：- cuda 安装- cudnn 安装- tensorflow 安装- keras 安装

1.no supported kernel for GPU devices is available.# 加上下面一行就可以使用 个gpu了config = tf.ConfigProto(allow_soft_placement=True)# 这一行设置 gpu 随使用增长，我一般都会加上config.gpu_options.allow_growth = True

欢迎转载，但请务必注明原文出处及作者信息。@author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历，发现网上虽然也有不少教程，其中很多都是根据官方给出的例子，用多层 LSTM 来实现 PTBModel 语言模型，比如： tensorflow笔记：多层LSTM代码分析 但是感觉这些例子还

关于 tensorboard 的一点心得1.一定要学会使用 tf.variable_scope() 和 tf.name_scope(),否则稍微复杂一点的网络都会乱七八糟。你可以通过上图中的 graph 来看看自己构建的网络结构。2.使用 tensorboard 来看 training 和 validation 的 loss 和 accuracy 变化对于调参非常非常有帮助。经验足的炼丹选手通过

最近两年深度学习真的是火的不要不要的，关于深度学习，每个人都有自己的看法。有人说就是炼丹，得个准确率召回率什么的，拿到实际中，问问为什么，都答不上来。各种连代码都没写过的人，也纷纷表示这东西就是小孩堆积木，然后整个大功耗的服务器跑上几天，调调参数。然后每个实验室招生，都说自己是做什么深度学习，机器 学习，大数据分析的，以此来吸引学生。可是可是，他们实验室很可能连一块 GPU 都没有。小时候，我

关于比赛详情，请戳：2017 知乎看山杯机器学习挑战赛代码：https://github.com/yongyehuang/zhihu-text-classification 基于：python 2.7， TensorFlow 1.2.1任务描述：参赛者需要根据知乎给出的问题及话题标签的绑定关系的训练数据，训练出对未标注数据自动标注的模型。标注数据中包含 300 万个问题，每个问题有 1 个或多个标

深入MNISTrefer: http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_pros.html @author: huangyongye @date: 2017-02-24之前在keras中用同样的网络和同样的数据集来做这个例子的时候。keras占用了 5647M 的显存（训练过程中设了 validation_s

欢迎转载，但请务必注明原文出处及作者信息。@author: huangyongye @creat_date: 2017-03-08 前言: 本例子主要介绍 name_scope 和 variable_scope 的正确使用方式，学习并理解本例之后，你就能够真正读懂 TensorFlow 的很多代码并能够清晰地理解模型结构了。之前写过一个例子了： TensorFlow入门（四） name / v

name/variable_scope 的作用欢迎转载，但请务必注明原文出处及作者信息。@author: huangyongye @creat_date: 2017-03-08 refer to: Sharing Variables name / variable_scope 详细理解请看： TensorFlow入门（七） 充分理解 name / variable_scope* 起因：在运行

TensorFlow入门（一）基本用法refer to: http://wiki.jikexueyuan.com/project/tensorflow-zh/get_started/basic_usage.html @author: huangyongye @date: 2017-02-25本例子主要是按照 tensorflow的中文文档来学习 tensorflow 的基本用法。按照文档说明，主

两层FC层做分类：MNISTrefer: http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html @author: huangyongye @date: 2017-02-24在本教程中，我们来实现一个非常简单的两层全连接层来完成MNIST数据的分类问题。 输入[-1,28*28], FC1

点击阅读原文Logistic 回归本例子包括以下内容： * logistic sigmoid 函数 * 交叉熵(Cross-entropy)损失函数在分类问题中，我们希望神经网络最后输出每个类别的概率分布 tt 。对于二分类问题， t=1t=1 或者 t=0t=0，我们可以使用 logistic 回归 中的 logistic sigmoid 函数。下面的内容将会介绍 logistic sigm

Softmax 分类函数本例子包括以下内容: * softmax 函数 * 交叉熵（Cross-entropy） 损失函数在上一个例子中，我们介绍了如何利用 logistic 函数来处理二分类问题。对于多分类问题，在处理多项式 logistic 回归（multinomial logistic regression）中，用到 logistic 函数的一种扩展形式，叫做 softmax 函数。下面的

@author: huangyongye1. RNN基础对于RNN，我看到讲得最通俗易懂的应该是Andrej发的博客： The Unreasonable Effectiveness of Recurrent Neural Networks这里有它的中文翻译版本： 递归神经网络不可思议的有效性如果想了解 LSTM 的原理，可以参考这篇文章：（译）理解 LSTM 网络 （Understanding

刚学自编码，以下是本人关于题目问题的一点思考。自编码器是一种非常简单的BP神经网络，是一种无监督学习算法。使用一个三层（只有一个隐含层）的自编码网络，然后设置隐含节点的数量少于输入层节点，就能够轻松地实现特征降维。如图：refer to: Deep Learning（深度学习）学习笔记整理系列之（四） 如果隐藏节点比可视节点（输入、输出）少的话，由于被迫的降维，自编码器会自动习得训练样本的特征