- 博客(12)
- 资源 (21)
- 收藏
- 关注
原创 深度学习(Deep Learning)读书思考八:循环神经网络三(RNN应用)
概述通过前两小节的介绍,可以清楚的了解RNN模型的网络结构以及LSTM。本小节主要介绍RNN其他变形以及应用,包括 1.GRU单元 2.序列到序列(Seq2Seq)模型 3.注意力(Attention)模型 4.RNN在NLP中的应用 5.总结GRU单元GRU通过引入重置门和遗忘门来解决长期依赖问题,相对于LSTM有更少参数并且在某些问题上,效果好于L
2016-11-20 11:30:18 7601
原创 深度学习(Deep Learning)读书思考六:循环神经网络一(RNN)
概述循环神经网络(RNN-Recurrent Neural Network)是神经网络家族中的一员,擅长于解决序列化相关问题。包括不限于序列化标注问题、NER、POS、语音识别等。RNN内容比较多,分成三个小节进行介绍,内容包括RNN基础以及求解算法、LSTM以及变种GRU、RNN相关应用。本节主要介绍 1.RNN基础知识介绍 2.RNN模型优化以及存在的问题 3.RNN模
2016-11-20 11:28:58 17181 3
原创 深度学习(Deep Learning)读书思考四:模型训练优化
概述机器学习应用包括模型构建、求解和评估,对于深度模型而言也是类似,根据之前的介绍可以构建自己的深度神经网络结构。相对于一般的优化问题,深度模型更难优化,本节主要介绍深度学习模型优化挑战、优化算法以及优化策略等。 深度学习模型优化挑战 深度学习优化算法 深度学习中的特殊策略 另外,关于更多数值优化技术可以参考。数值优化技术深度学习优化挑战机器学习
2016-11-20 11:27:29 11010 2
原创 深度学习(Deep Learning)读书思考三:正则化
概述正则化是机器学习中非常重要并且非常有效的减少泛华误差的技术,特别是在深度学习模型中,由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合,比较常用的技术包括: 参数添加约束,例如L1、L2范数等 训练集合扩充,例如添加噪声、数据变换等 Dropout 该文主要介绍深度学习中比较常见几类正则化方法以及常用参数选择,并试图解释其原理。
2016-11-20 11:26:30 6480
原创 深度学习(Deep Learning)读书思考二:前向神经网络
概述 深度学习也是机器学习的一种,是由前向神经网络或者多层感知机算法演化而来,由于计算资源和可计算数据增加,神经网络的效果逐渐浮现出来,从而迎来了蓬勃发展。本节主要介绍深度学习中基础网络结构前向神经网络(Feedword Netural Network)FNN基本概念机器学习都是在学习一种变换,深度学习也不例外,即y=f(x)=ϕ(x;θ)y=f(x)=\phi(x;\the
2016-11-20 11:25:56 4296
原创 深度学习(Deep Learning)读书思考一:基本概念
概述 《Deep Learning》是大神Yoshua Bengio关于深度学习的一个全面概述,之前也出过很多综述类的文章。 该系列读书思考笔记主要记录深度学习中需要关注或者实际工业界使用的知识点或者技术,方便查阅和备忘。 本节可能会罗列很多技术点,后面慢慢补充。人工智能图谱机器学习的终极目标是人工智能(AI),目前AI的痛点在于人很容易理解的知识,机器很难去表示
2016-11-20 11:25:05 2236
原创 【每周一文】Sequence to Sequence Learning with Neural Networks(2014)
概述DNN已经被成功用于多种AI任务,并取得很多可喜的成绩,例如语音识别、图片分类等。然而它们都不能处理序列到序列的任务,该文提出了一个端到端的(End To End)模型处理序列到序列的任务。 本文主要介绍: 1.Seq2Seq任务描述 2.Seq2Seq模型介绍任务描述在自然语言处理中有很多任务都可以归约为序列到序列的任务,例如: 1.机器翻译问题 2.语音识
2016-11-20 11:24:03 3694
原创 【每周一文】Convolutional Neural Network for text/sentence classification(2016)
概述卷积神经网络(CNN)相比于基于词袋模型的DNN有以下优点: 1. 能够捕获局部的位置信息 2. 能够方便的将不定长的输入转换成定长输入接入到DNN网络中 3. 相比于RNN模型计算复杂度低,在很多任务中取得不错的效果。在自然语言处理(NLP)的分类任务中,文本分类或者句子分类也能表现比较好的效果,甚至达到state of art效果。另外如果借助于预训练的词向量、字向量或者
2016-11-20 11:23:01 6104
原创 【每周一文】Convolutional Neural Networks And Application for NLP
概述 卷积神经网络的提出主要是应用于图像识别,由于其效果比较显著逐渐扩展到语音识别和自然语言处理等领域。本文主要介绍 1. 卷积的概念 2. 卷积神经网络 3. 卷积神经网络在NLP中的应用 4. 总结卷积一维(1D)卷积根据维基百科上的定义,一维卷积定义如下:f(x)∗g(x)=∫∞−∞f(τ)g(x−τ)dτ f(x)*g(x)=\int_{-
2016-11-20 11:21:43 1524
原创 【每周一文】A Primer On Neural Network Models for NLP
概述 该文概要介绍了一些神经网络模型如何应用到NLP相关的任务上,对于想使用神经网络技术来解决NLP相关任务的初学者非常有帮助,可以当做一个综述文章来读。主要介绍以下几个主要知识点: 1. 神经网络问题建模和求解 2. NLP问题建模 3. NLP中应用的神经网络结构 4. 总结神经网络问题建模用机器学习模型解决实际问题时,需要解决三个主要问题输入输出
2016-11-20 11:20:18 1846
Eclipse3.5,升级添加BPEL Designer插件l时需要的两个包
2010-06-29
BPEL学习实例,Apache-ODE,Eclipse-BPEL
2010-06-29
rabin-hash-function(rabin的随机多项式摘要算法)
2010-06-18
httpclient需要的jar包,合订版(httclient.jar,commons-codec,commons-logging)
2010-05-11
Heritrix,Mohr-et-al-2004.pdf,其作者谈其优劣
2010-03-31
HtmlAdaptorServer所需要的JAR包(com.sun.jdmk.comm.HtmlAdaptorServer)
2010-03-23
OA系统的毕业设计的毕业论文
2009-02-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人