深度学习
文章平均质量分 68
zakexu
这个作者很懒,什么都没留下…
展开
-
感知机模型
(一)简介1.感知机是二分类的线性分类模型,输入是特征向量,输出是类别,取+1跟-1二值;2.感知机学习旨在求出将训练数据进行线性划分的分离超平面:其中w是超平面的法向量,b是超平面的截距;(二)模型1.分离超平面将样本点分成两部分,位于法向量w所指向的一面是正样本,另一面则是负样本;2.由输入空间到输出空间的模型函数如下:(三)策略1.特征空间中任原创 2015-05-16 14:43:35 · 1604 阅读 · 0 评论 -
DBN模型
(一)马尔可夫随机场1.概率图模型:1)用图的形式来表示概率分布;2)用图的方法来求解概率分布问题;3)可分为概率有向图模型跟概率无向图模型;2.马尔可夫随机场定义(又叫概率无向图模型):(1)G = (V,E)其中结点V表示随机变量,无向边E表示随机变量之间的概率依赖关系;P(X)表示联合概率分布;(2)成对马尔可夫性:任意两个没有边连接的结点条件独立其中u,v表示任原创 2015-07-19 13:39:10 · 9969 阅读 · 1 评论 -
CNN模型
(一)简介1.卷积神经网络(Convolutional Neural Network,CNN)是一种处理大型图像的深度神经网络模型,主要由卷积层以及下采样层组成;2.卷积层的理论依据主要是生物学上的感受野概念,通俗点讲就是权值共享,这样可以大大减少神经网络需要训练的参数;3.下采样,也有人叫pooling,其实就是对图像进行子采样,利用图像局部相关性的原理,在减少数据量的同时又保留有用原创 2015-07-22 21:47:38 · 8724 阅读 · 0 评论 -
RNN模型
(一)RNN模型1.递归神经网络(recurrent neural network,RNN)是一种具有反馈结构的神经网络,其输出不但与当前输入和网络的权值有关,而且也与之前网络的输入有关;RNN通过添加跨越时间点的自连接隐藏层,对时间进行建模;换句话说,隐藏层的反馈,不仅仅进入输出端,而且还进入了下一时间的隐藏层;原创 2015-09-15 12:31:53 · 16884 阅读 · 0 评论 -
LSTM模型
(一)NN模型(neural network)1.NN模型是复杂神经网络模型的基础计算单元,广泛使用于各种神经网络模型中,如下所示:2.NN模型常见的激活函数主要有3种:sigmoid函数,tanh函数,以及ReLU(rectified linear unit)函数,分别如下:3.NN模型若放在输出层,不同的任务使用不同的激活函数:(1)multi-class:使用原创 2015-09-17 15:53:11 · 32957 阅读 · 3 评论 -
MDRNN模型
标准的RNN模型由于加入递归连接,使得其可以利用上下文信息从而对时间维度上的扭曲具有鲁棒性;然而RNN仅适用于一维序列,也就是时间维序列;而在二维序列中,同样需要利用上下文信息以及对维度扭曲的鲁棒性,因此MDRNN模型(multi-dimensional RNN)被提出;(一)MDRNN模型思想1.标准RNN的每一层隐层不仅接受当前位置的输入,也接受上一个位置的隐层输出作为输入;在标准的R原创 2015-09-17 16:52:49 · 3276 阅读 · 1 评论 -
DNN模型
Deep Neural Network(DNN)模型是基本的深度学习框架;(一)神经元计算模型(感知机模型)1.计算公式:2.常见响应函数(非线性函数):(1)logistic/sigmoid function:(2)tanh function:(3)step/binary function:(4)rectifier function:原创 2015-05-21 19:22:40 · 15736 阅读 · 0 评论 -
SAE模型
Stacked Autoencoder(SAE)模型是一个由多层稀疏自编码器组成的深度神经网络模型,其前一层自编码器的输出作为其后一层自编码器的输入,最后一层是个分类器官(logistic分类器或者softmax分类器)(一)sparse autoencoder算法1.概念:sparse autoencoder是一种非监督学习算法,需要满足以下两种约束:(1)autoenc原创 2015-05-21 19:43:19 · 11824 阅读 · 0 评论 -
CTC模型
CTC模型(Connectionist temporal classification)接在RNN网络的最后一层用于序列学习所用;对于一段长度为T的序列来说,每个样本点 t 在RNN网络的最后一层都会输出一个softmax向量,表示预测概率;接上CTC模型之后,就可以正确预测出序列的标签;(一)简介1.假设一段长为T的序列的每个时间点的label有可能是L个不同的label中的一个,那么这原创 2015-09-17 20:10:53 · 21873 阅读 · 2 评论