神经网络
文章平均质量分 95
Marcovaldo
功不唐捐,壮志无违。
展开
-
深度学习在信息隐藏中的应用(下)
上一篇主要是使用卷积神经网络来做隐写分析,这一篇主要介绍几篇使用生成对抗网络来做隐写和加密。在介绍这些工作之前,我们先来看一下什么是生成对抗网络。生成对抗网络(Generative Adversarial Network, GAN)是深度学习中一个新的网络结构,其自2014年被提出以来一直备受关注,不断有新的GAN模型或基于GAN的应用出现。GAN提出了一种不需要大量标注训练数据就能学习深度表征的方原创 2017-11-21 23:04:10 · 10404 阅读 · 3 评论 -
Ubuntu14.04+Theano+OpenCL+libgpuarray实现GPU运算
上一篇博客介绍了如何使用Theano+logistic regression来实现kaggle上的数字手写识别,文末提到了CPU计算实在太慢,因此在做完这个实验之后,博主查阅了Theano的文档,了解到Theano官方仅支持CUDA进行GPU运算,不支持OpenCL,也就是说Theano官方仅支持N卡。原因是,CUDA和OpenCL是两个GPU计算平台,CUDA仅支持N卡,OpenCL支持所有的显卡原创 2016-07-08 12:40:17 · 7410 阅读 · 0 评论 -
机器学习中使用的神经网络第二讲笔记
最近在Cousera上学习多伦多大学Geoffrey Hinton教授的Nerual Networks for Machine Learning,为保证学习效果,特整理了学习笔记,一方面加深理解,一方面试图将学到的东西讲清楚。这一讲主要介绍神经网络的结构和感知机。Types of nerual network architectures这一小节介绍了三种不同的神经网络结构。首先介绍向前反馈网络(fe原创 2016-05-04 17:05:51 · 7167 阅读 · 1 评论 -
机器学习中使用神经网络第三讲笔记
Geoffrey Hinton教授的Neuron Networks for Machine Learning的第三讲主要介绍了线性/逻辑神经网络和BackPropagation,下面是整理的笔记。Learning the weights of a linear neuron这一小节介绍线性神经网络的学习算法。线性神经网络很像感知机,但又有不同:在感知机中,权值向量总是越来越接近好的权值设定;在线性神原创 2016-05-05 11:50:20 · 6405 阅读 · 0 评论 -
机器学习中使用的神经网络第四讲笔记
Geoffery Hinton教授的Neuron Networks for Machine Learning的第四讲主要介绍如何使用back propagation算法来学习到词汇的特征表示。Learning to predict the next word接下来的几小节主要介绍如何使用back propagation算法来学习到词汇的特征表示。我们从一个很简单的例子开始,介绍使用back prop原创 2016-05-08 10:30:31 · 2830 阅读 · 0 评论 -
机器学习中使用的神经网络第五讲笔记
Geoffery Hinton教授的Neuron Networks for Machine Learning的第五讲主要介绍物体识别问题的难点及克服这些难点的方法,重点介绍了数字识别和物体识别中使用的卷积网络。Why object recognition is difficult我们知道识别真实场景中的物体是很困难的,这一小节我们来介绍造成这些困难的一些东西。Segmentation: 在一个图像原创 2016-05-14 15:52:09 · 15303 阅读 · 2 评论 -
机器学习中使用的神经网络第六讲笔记
Geoffery Hinton教授的Neuron Networks for Machine Learning的第六讲介绍了随机梯度下降法(SGD),并且介绍了加快学习速度的动量方法(the momentum method)、针对网络中每一个连接的自适应学习步长(adaptive learning rates for each connection)和RMSProp算法。这几个算法的难度很大,需要反复原创 2016-05-16 21:55:50 · 16741 阅读 · 1 评论 -
机器学习中使用的神经网络第七讲笔记
Geoffery Hinton教授的*Neuron Networks for Machine Learning*的第六讲介绍了循环神经网络(recurrent neural network, RNN)和Long Short Term Memory。Modeling sequences: A brief overview在这一小节,我们将对应用于序列(sequences)的不同类型的模型做一个概括。我们从最简单的模型原创 2016-05-18 15:24:58 · 9449 阅读 · 0 评论 -
机器学习中使用的神经网络第十讲笔记
Geoffery Hinton教授的Neuron Networks for Machine Learning的第十讲介绍了如何combine模型,并进一步从实际应用的角度介绍了完全贝叶斯方法。Why it helps to combine models这一小节,我们讨论在做预测时为什么要结合许多模型。使用多个模型可以在拟合真正的规则和拟合样本错误之间做一个很好的折中。我们已经知道,当训练数据比较少时原创 2016-05-27 21:48:23 · 9874 阅读 · 0 评论 -
深度学习在信息隐藏中的应用(上)
博客首发至Marcovaldo’s blog (http://marcovaldong.github.io/)之前都是在实验室做项目,写代码,没有系统集中的看过paper,最近要准备开题,集中看了十几篇,全是深度学习在信息隐藏领域的应用与研究。这里主要是对十几篇论文做一个总结,以后会不间断更新最新读的论文。大家都学过密码学,但是可能很少有人了解信息隐藏。信息隐藏是我所在实验室的一个方向,指...原创 2017-11-07 17:24:51 · 15868 阅读 · 8 评论