2017年04月_PKU_Jade

原创为什么深层网络很难训练

为什么需要深层神经网络第一：层数的增多会使每一层任务都变得简单，例如计算乘法，可以在第一层计算按位加法，第二层计算两个数的加法，第三层计算乘法，这样的算法逻辑更加简单，清晰。也就是说中间层可以做更深的抽象。第二：数学上可以证明只有一层隐藏层的神经网络可以表示任意的函数，但是神经元的数量却是指数级增加的，但是使用深层网络可以解决这个问题。所以综上深层神经网络可以解决浅层神经网络无法轻易解决的问

2017-04-25 15:53:13 3543 1

转载卷积神经网络(CNN)的参数优化方法

http://www.jeyzhang.com/cnn-learning-notes-2.html

2017-04-25 14:00:38 1162

为什么使用向量表示词但是在NLP中，传统方法通常是把词转换为离散的不可分割的符号，这导致很难利用不同的词之间的关系（所有的单词之间的距离都一样），例如dog：id143，cat：id537，这使得我们需要更多的数据来训练模型，而使用向量的表达的话可以克服这一缺点，例如在向量中可以利用cat和dog之间的相似性。使用向量表示词也叫word embeddingps：上面说的都是使用连续的向量空间中的点表

2017-04-24 22:07:05 4677

原创如何理解信息论中的各种熵？

信息论，机器学习中常用的熵的直观理解

2017-04-20 21:09:40 2281

原创小技巧，小知识

维基百科上的公式直接选中（左键拖动选中，不是右键复制图片）的话可以复制LaTeX代码gbk编码中一个汉字算作两个字符，因为gbk与ASCII码是兼容的，在gbk编码中原来的ASCII码仍然只占一个字节，在Unicode中一个汉字只算一个字符，因为所有的字符都占两个字节。Unicode与utf-8的关系：Unicode是一种编码方式，编码就是数字与字符之间的对应关系，utf-8是Unicode的一

2017-04-19 15:20:42 306

原创 Laplace近似积分

拉普拉斯方法又称为拉普拉斯近似（Laplace Approximation）。它可以用来计算一元或多元积分。这里的思想类似于上篇博客中所讲的使用Laplace近似分布一样，这里把∫baf(x)dx\int_a^b f(x)dx中的f(x)f(x)看成是一个分布(需要正规化)，然后使用一个正态分布近似这个分布，这样就可以得到原来积分的近似了。拉普拉斯方法是有局限性的：被积分的函数有一个峰值，并

2017-04-19 15:19:13 4851

原创 Laplace近似后验概率

Laplace近似就是使用正态分布来近似连续变量概率密度函数。 lnf(z)≅lnf(z0)−12A(z−z0)2A=−d2dz2lnf(z)∣z=z0\ln f(z) \cong \ln f(z_0) - \frac{1}{2}A(z - z0)^2 \quad A = - \frac{d^2}{dz^2} \ln f(z) \mid{z=z_0}1 非共轭的先验概率在很多时候在我们建立的概率

2017-04-18 15:55:28 3156

翻译【译】理解LSTM网络，RNN入门材料

RNN和LSTM介绍

2017-04-16 15:50:29 2363 1

原创 tensorflow识别手写数字（2）

TensorFlow 擅长大规模的计算图模型，它的特长之一就是训练深度神经网络，这篇教程将会使用TensorFlow 构建一个CNN来识别MNIST.建立CNN在之前的softmax中我们的准确率只有92%左右，在这里我们使用一个简单的CNN将会把准确率提升至99.2%。

2017-04-15 18:13:21 433

原创 tensorflow识别手写数字

这篇教程用tensorflow实现了一个softmax分类器（logistics回归的推广），用来熟悉tf的一些语法和使用tf进行机器学习的流程。

2017-04-15 15:22:43 455

原创 Bayesian trained NN

类似于稀疏自编码器，给每一层的权重只有小部分是高方差的，即只有一小部分是激活的。

2017-04-15 10:24:05 449

原创概率编程简介

直观理解概率编程概率编程的推理过程就是：对问题进行建模，然后利用计算机采样的方法进行自动的贝叶斯推理（Bayesian inference），得出未知参数的概率分布。什么是贝叶斯推理？贝叶斯推理主要利用贝叶斯公式 p(θ|X)=p(θ)p((X|θ)p(X)p(\theta|X)=\frac{p(\theta)p((X|\th

2017-04-12 18:55:37 4943

qishi的博客