2017年03月_JepsonWong

原创 make命令

代码变成可执行文件，叫做编译；编译的安排（编译的顺序）叫做构建（build）。make是一种构建工具，主要用于C语言的构建。但是实际上，只要某个文件有变化，就要重新构建的项目，都可以用Make构建。一、Make概念make是一个根据指定的Shell命令进行构建的工具。它的规则很简单，你规定要构建哪个文件，它依赖哪些源文件，当那些文件有变动时，如何构建它。构建规则都写在一个叫做Mak

2017-03-31 19:01:07 389

原创 Java static

在类被加载时，类的静态部分(静态变量、静态方法和静态块)首先就分配了内存空间并完成初始化操作Java static关键字用法总结：1. 静态方法通常，在一个类中定义一个方法为static，那就是说，无需本类的对象即可调用此方法。static方法属于类而不是属于某个对象，所以static方法是可以直接通过类名调用的不必先创建出实例的。声明为static的方法有以下几条限制：

2017-03-30 17:16:03 289

原创神经网络/深度学习框架

非监督/半监督（1）AE和SAE逐层预训练的方式。（2）另外一条与AE、SAE类似的主线，即限制玻尔兹曼机（RBM）与深度信念网络（DBN）。注：RBM堆叠起来是Deep Boltzmann Machines，再加一个分类器是DBN。监督（1）感知机->多层感知机->CNN 感知机->多层感知机->RNN

2017-03-24 20:51:15 309

原创神经网络一些概念

1. 人工神经元组合函数g 激活函数f2. bp算法要求激活函数可导3. 人工神经网络有两个主要问题：结构、学习方法结构：前馈结构：代表有感知机与BP神经网络反馈/循环结构：LSTM 学习方法：（1）incremental、batch优化（2）监督学习：BP算法

2017-03-24 20:43:08 341

原创神经网络语言模型

基于计数的n-gram语言模型：出现的问题：（1）数据稀疏，有些数据未出现过（2）忽略语义的相关性，如“无聊”与“枯燥”虽然语义相似，但无法共享信息。词语表示为：one-hot表示法。基于分布式表示的n-gram语言模型：出现的问题：（1）词向量：如何将每个词映射到实数向量空间中的一个点（2）f函数的设计：设置什么样的神经网络结构模拟f函数词语表示为：基

2017-03-24 17:13:47 1047

原创 N-gram 语言模型

n 元文法(n-gram)模型。通常地，当n=1时，即出现在第i位上的基元wi独立于历史；一元文法也被写为uni-gram或monogram。当 n=2 时，2-gram(bi-gram) 被称为1阶马尔可夫链。当 n=3 时，3-gram(tri-gram)被称为2阶马尔可夫链。依次类推。为了保证条件概率在 i=1 时有意义，同时为了保证句子内所有字符串的概率和为 1，即可以

2017-03-24 17:12:26 1797

原创交叉熵相对熵

（1）熵的本质是香农信息量()的期望。（2）现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。（3）如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自分布p，所以期望H(p,q)中概率是p(i)。H(p,q)我们称

2017-03-24 17:02:19 384

原创线性分类器之 logistic regression与neural networks的关系

logistic regression和neural networks 的区别和联系： Logistic regression 的本质是线性分类器，但是在做完线性变化后，结果又通过sigmoid函数做非线性变换，sigmoid函数是神经网络中处理非线性现象（nonlinear saturation）的常用办法。而neural networks则既可以是线性，也可以是非线性。因此logistic

2017-03-24 16:59:27 516

原创 MIPS R10000 超标量微处理器（一）

MIPS R10000是为高性能而设计的，甚至对于那些大的、现实世界中的具有微弱存储一致性的应用都有高性能。MIPS R10000的特点:一.4路超标量RISC处理器：（1）每时钟周期取指和编码4条指令（2）在分支结果出现之前执行预测，拥有四项分支栈。（3）使用动态乱序执行技术。（4）用映射表完成寄存器的重命名。（5）实现指令有序提交和精确例外。二.

2017-03-23 22:04:13 2110

专注计算机体系结构