2015年10月_xmdxcsj

原创 torch学习（三） training

有两种方法进行模型训练，一种是使用封装的训练方法- StochasticGradient类；另外一种是使用for构建基本的训练流程。一、StochasticGradient方法1.调用形式StochasticGradient(module, criterion)2.参数内部的成员变量，跟训练有关learningRate: This is the learning

2015-10-21 23:37:38 2397

原创 torch学习（二） nn类结构-Module

2015-10-21 23:36:02 12577 3

原创 torch问题及解决方案汇总（持续更新）

一、libjpeg.so库问题描述：torch/install/lib/lua/5.1/libjpeg.so: undefined symbol: jpeg_mem_src解决方案：https://github.com/torch/image/issues/41wget http://www.ijg.org/files/jpegsrc.v8d.tar.gztar -xvf jpeg

2015-10-20 21:04:50 3469

原创 torch学习（四） using GPU

一、获取GPU信息require 'cutorch'print( cutorch.getDeviceProperties(cutorch.getDevice()) )二、GPU和CPU之间的数据互通1.构建GPU数据t1 = torch.CudaTensor(100):fill(0.5)t2 = torch.CudaTensor(100):fill(1)t1:

2015-10-20 20:57:54 8347

原创 torch学习（五） simply application

一、getting started1.torch/install/lib/lua/5.1/libjpeg.so: undefined symbol: jpeg_mem_src解决方案：https://github.com/torch/image/issues/41wget http://www.ijg.org/files/jpegsrc.v8d.tar.gztar -xvf jpe

2015-10-19 20:39:17 3615

原创 lua学习（一）

学习资源：官方手册：http://www.lua.org/manual/5.3/用户社区：http://lua-users.org/programming in lua中文版：http://www.centoscn.com/uploads/file/20130903/13781389409335.pdf一、lua概况可扩展性。Lua 的扩展性

2015-10-18 22:58:59 865

原创 GPU编程

cuda是英伟达公司的并行计算平台和编程模型，利用GPU加速计算。linux使用的命令nvcc：CUDA编译器驱动程序，类似于gccptxas：PTX汇编工具，会被nvcc调用cuobjdump：CUDA目标文件转存工具nvidia-smi：英伟达系统管理接口，可以查看gpu内存等的使用情况入门博客：http://www.cnblogs.com/1024incn/p/4

2015-10-17 18:17:22 1058

原创 torch学习（一） torch使用

一、安装问题1.Only CentOS 7 is supported for now, aborting.修改原来安装文件https://github.com/torch/ezinstall/blob/master/install-deps把“ if [[ $centos_major_version == '7' ]];then”判断去掉

2015-10-16 20:48:56 4854 4

原创语音识别置信度

发展应用场景：smartly reject non-speech noises, detect/reject out-of-vocabularywords, detect/correct some potential recognition mistakes, clean up human transcriptionerrors in large training corpus, guide

2015-10-10 19:21:54 5068

原创 tcpcopy在语音识别的应用

语音识别线上服务使用tcpcopy搭建一套测试环境，用于上线前的测试和评估，如下图所示：其中解码器1与线上的环境一致，解码器2对应的测试环境，对解码器任何的修改可以先到解码器2上面测试一段时间，评估与解码器1的差距。其原理如下图所示：

2015-10-09 18:02:14 654

原创深度学习框架对比

常用的深度学习框架有theano、caffe、torch7、dl4j，查阅了一些资料，了解了各自的一些特点caffe：c++，工程性能好，相比theano容易调试，模块集成度高，不易实现神经网络的个性化需求（比如修改loss function），主要是CNN，其他网络的集成不太好theano：基于python，方便修改神经网络结构，适合研究，学习曲线比较陡峭，symbol compile调

2015-10-06 22:03:05 1485

原创 theano tutorial学习笔记（一）

algebra标量求和>>> import theano.tensor as T>>> from theano import function>>> x = T.dscalar('x')>>> y = T.dscalar('y')>>> z = x + y>>> f = function([x, y], z)x不是dscalar的实例，而是TensorVar

2015-10-06 21:48:09 1771

原创 RNN（三）在SLU中的应用

LU的主要任务是提取语义或者fillingslots，传统的解决SLU的方法包括生成模型（HMM/CFG）或者判别模型（CRF），最近RNN也开始用于SLU。SLU的语义解析包括三个方面任务：domain detection, intent determination, and slot filling，例子如下：对于slot filling来讲，输入是句子，输出是slot序列。W

2015-10-05 20:40:19 2636

原创 The Shawshank Redemption

I guess it comes down to a simple choice: get busy living or get busy dying.It takes a strong man to save himself, and a great man to save another.Fear can hold you prisoner. Hope can set you fr

2015-10-05 19:33:40 692

原创 RNN（一） overview

想学习神经网络，由于最近有语义理解和断句的工作需求，正好以RNN为切入点，开始神经网络方面的学习。一些RNN学习的资源：https://en.wikipedia.org/wiki/Recurrent_neural_networkhttp://www.zhihu.com/question/29411132神经网络基础Neural Networks神经网络中的神

2015-10-05 00:15:15 1583

原创最大熵模型的简单理解

基本思想在只掌握了关于未知分布的部分信息的情况下，符合已知知识分布的概率分布可能有多个，但是熵值最大的概率分布最真实低反映了事件的分布情况。最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型”。我们常说，

2015-10-02 17:33:18 8923 2

原创 HMM简单理解

HMM模型模型导出贝叶斯的输出变量只有一个，如果将输出变量y加以扩展成序列标注，也就是每一个Xi对应于一个标记Yi，贝叶斯模型转化为：考虑到输出y之间的相互依赖性，联合概率可以分解为生成概率和转移概率的乘积。缺点：虽然考虑了y之间的依赖性，但是仍然假设x之间是相互独立的。HMM用于标记的时候，隐藏变量就是词序列对应的label标记，观测序列是词序列，所求的就是基于各类标

2015-10-01 22:23:54 5149

xmdxcsj的专栏