wishchinYang的专栏

生死去留,蓬头傀儡;一时线断,落落磊磊!不创造知识,只是知识的搬运工!...

DNN:LSTM的前向计算和参数训练

原文-LSTM的反向传播:深度学习(6)-长短期网路;此处仅摘抄一小段,建议拜访全文。 LSTM的参数训练:https://www.jianshu.com/p/dcec3f07d3b5;LSTM的参数训练和前向计算比RNNs还是稍微复杂一些。 长短时记忆网络的前向计算 前面描述的开关是怎样在...

2018-11-29 17:26:55

阅读数:44

评论数:0

NLP:NLM-神经语言模型

文章:自然语言处理模型;经过几天对nlp的理解,接下来我们说说语言模型,下面还是以PPT方式给出。 一、统计语言模型   1、什么是统计语言模型? 一个语言模型通常构建为字符串s的概率分布p(s),这里的p(s)实际上反映的是s作为一个句子出现的概率。 这里的概率指的是组成字符串的这个组合,...

2018-11-26 15:56:09

阅读数:117

评论数:0

OCR算法:CNN+BLSTM+CTC架构(VS15)

原文链接:OCR算法-CNN+BLSTM+CTC架构 由于作者使用了Boost1.57-Vc14,而1.57的VC14版本作者没有给出下载链接,因此需要自行编译,建议换掉作者的第三方库,使用其他的库,比如:这篇文章:VS编译Caffe非常简单。网盘:3rdlibVC14。 有少量的改动,如有疑...

2018-08-30 17:03:40

阅读数:429

评论数:0

DNN结构:CNN、LSTM/RNN中的Attention结构

前言        attention作为一种机制,有其认知神经或者生物学原理: 注意力的认知神经机制是什么?        如何从生物学的角度来定义注意力?        大多数attention (gating) 技巧都可以直接加入现有的网络架构,通过合理设计初始化和训练步骤也可以利...

2018-07-06 16:48:01

阅读数:2409

评论数:0

Learning Face Age Progression: A Pyramid Architecture of GANs

前言       作为IP模式识别的CNN初始模型是作为单纯判别式-模式识别存在的,并以此为基本模型扩展到各个方向。基本功能为图像判别模型,此后基于Loc+CNN的检测模型-分离式、end2end、以及MaskCNN模型,而后出现基于CNN的预测模型-AcGans。       CNN作为一个基本...

2018-06-19 17:44:36

阅读数:2377

评论数:0

个人技术博客的选择:CSDN、博客园、简书、知乎专栏还是Github Page?

文章链接:个人技术博客的选择:CSDN、博客园、简书、知乎专栏还是Github Page? 感觉还是Fuck The Dog!看来还是以后把文章写在本地,然后再上传到CSDN吧。被CSDN的缓存机制坑了几次,得非常注意这次事件才行!!!...

2018-06-19 17:21:50

阅读数:3241

评论数:0

语音跟踪:信号分解、锁相、鸡尾酒会效应、基于PR的信号分离

        NLP中关于语音的部分,其中重要的一点是语音信号从背景噪音中分离。比如在一个办公室场景中,有白天的底噪-类似于白噪音的噪音、空调的声音、键盘的啪啪声、左手边45度7米元的地方同事讨论的声音、右手边1.5米远处同事讨论的声音、打印机的声音。各种声音混杂在一起,从自然人的角度来分别,很...

2018-06-01 17:32:14

阅读数:884

评论数:0

CNN结构:序列预测复合DNN结构-AcGANs、 ENN误差编码网络

前言:模式识别问题       模式函数是一个从问题定义域到模式值域的一个单射。      从简单的贝叶斯方法,到只能支持二分类的原始支持向量机,到十几个类的分类上最好用的随机森林方法,到可以支持ImageNet上海量1860个类且分类精度极高的InceptionV4(参考:CNNhttp://b...

2018-05-22 13:28:30

阅读数:536

评论数:0

推荐系统中基于深度学习的混合协同过滤模型

协同过滤的一个关键点是协同,即找到用户喜好相似的K个用户,一个多维向量的K近邻查找方法。 提出了一种Additional Stacked Denoising Autoencoder(aSDAE)的深度模型用来学习User和Item的隐向量,该模型的输入为User或者Item的评分值列表,每个...

2017-09-14 16:30:23

阅读数:1696

评论数:0

End to End Sequence Labeling via Bi-directional LSTM CNNs CRF

来看看今日头条首席科学家的论文: End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF 使用LSTM方法进行序列标注,完成大规模标注问题

2017-05-09 11:54:46

阅读数:1119

评论数:0

人工机器:TM、VNM和NTM的内存机制

从图灵机的原始模型分析,神经图灵机包含两个基本组成部分:神经网络控制器和记忆库,控制器通过输入输出向量和外界交互。不同于标准神经网络的是,控制器还会使用选择性的读写操作和记忆矩阵进行交互。类比于图灵机,我们将网络的参数化这些操作的输出称为“读头”。输入向量和网络结构影响注意力的聚焦,决定寻址位置。

2017-02-04 15:55:50

阅读数:503

评论数:0

基于神经网络的混合计算(DNC)-Hybrid computing using a NN with dynamic external memory

常规计算机算法能够处理复杂的大型数据结构,比如英特网和社交网络,但必须经过人类“手动”编程。神经网络则能通过示例学习如何识别复杂模式,但很难解析或组织复杂的数据结构。Alex Graves、Greg Wayne及同事,开发了一种名叫可微分神经计算机(DNC)的混合型学习机器,它由能从外部存储结构(...

2016-11-12 13:50:26

阅读数:1876

评论数:0

人工机器:Neural Turing Machines(NTM)

NTM通过融合一个注意力处理过程进行交互的外部存储器(external memory),来增强神经网络的能力。新系统等同于图灵机或者冯·诺依曼体系,但每个组成部分都是端到端可微的,因此可以使用梯度下降进行高效训练。初步的结果显示神经网络图灵机能够从输入和输出样本中推理出(infer)简单的算法,如...

2016-11-11 18:42:13

阅读数:4039

评论数:2

时序分析:隐马尔可夫模型

在AI综合领域,HMM模型是离散贝叶斯网络,最主要用于非确定性(概率)推理。 上次的文章被标记为链接,真是有意思。HMM是一个稀疏的贝叶斯网络。 其中,维特比算法(Viterbi Algorithm)为一个经典算法,用于找到可能性最大的隐藏序列。 即是通常我们都有一个特定的HMM,然后根据一个可观...

2016-06-06 11:29:18

阅读数:5560

评论数:0

EnforceLearning-主动强化学习

前言:          被动学习Agent由固定的策略决定其行为。主动学习Agent必须自己决定采取什么行动。         具体方法是:              Agent将要学习一个包含所有行动结果概率的完整模型,而不仅仅是固定策略的模型;             接下来,Age...

2016-06-04 14:11:49

阅读数:1637

评论数:0

时序分析:使用卡尔曼滤波

卡尔曼滤波(Kalman filtering)一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响,所以最优估计也可看作是滤波过程。 Overview of the calculation         Th...

2015-12-22 10:23:41

阅读数:1725

评论数:0

时序分析:HMM模型(状态空间)

关于HMM模型:隐马尔科夫模型 和动态贝叶斯网络

2015-12-18 16:11:57

阅读数:4589

评论数:3

时序分析:Kalman滤波(状态空间)

在现实生活中, 数据的出现大多数是以非平稳形式, 这就涉及到了动态数据所构成的时间序列的分解.关于时间序列的分解, PeterJ.Brochwell&RichardA.Davis在其著作《timeSerieS:TheoryandMethodS》中己指出:分解时间序列的目的旨在估计和抽取确定...

2015-12-18 14:16:41

阅读数:3394

评论数:0

时序分析:ARIMA模型(非平稳时间序列)

转载于一篇硕士论文....         ARIMA模型意为求和自回归滑动平均模型(IntergratedAut少regressive MovingAverageModel),简记为ARIMA(p,d,q),p,q分别为自回归和滑动平均部分的阶次,d为差分运算阶次,对于某些非平稳时间序列{ y...

2015-12-18 12:01:00

阅读数:6649

评论数:0

时序分析:ARMA方法(平稳序列)

憔悴到了转述中文综述的时候了........        在统计学角度来看,时间序列分析是统计学中的一个重要分支, 是基于随机过程理论和数理统计学的一种重要方法和应用研究领域.  时间序列按其统计特性可分为平稳性序列和非平稳性序列. 目前应用最多的是Box一JenkinS

2015-12-18 11:20:43

阅读数:12939

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭