深度学习
文章平均质量分 60
刷街兜风
不积跬步,无以至千里;不积小流,无以成江海。
展开
-
TensorFlow教程04:MNIST实验——源码和运行结果
假定您已经安装好了TensorFlow,这里放了第一个MNIST实验的代码和参考结果,你可以直接运行验证。源码[python] view plain copyprint?#!/usr/bin/python import tensorflow as tf import sys from tensorflow.examples.tutorial转载 2017-06-14 21:27:05 · 1386 阅读 · 0 评论 -
深度学习之卷积神经网络CNN及tensorflow代码实现示例详细介绍
一、CNN的引入在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时,这时全连接网络需要训练的参数就会增大很多,计算速度就会变得很慢,例如一张黑白的28×28 的手写数字图片,输入层的神经元就有784个,如下图所示: 若在中间只使用一层隐藏层,参数 w 就有 784×15=11760 多个;若输入的原创 2017-06-14 15:27:04 · 9018 阅读 · 1 评论 -
通熟易懂学习卷积神经网络(CNN)
正文之前,先说几点自己对于CNN的感触。先明确一点就是,Deep Learning是全部深度学习算法的总称,CNN是深度学习算法在图像处理领域的一个应用。第一点,在学习Deep learning和CNN之前,总以为它们是很了不得的知识,总以为它们能解决很多问题,学习了之后,才知道它们不过与其他机器学习算法如svm等相似,仍然可以把它当做一个分类器,仍然可以像使用一个黑盒子那样使用它。第二点转载 2017-06-15 09:09:19 · 870 阅读 · 0 评论 -
卷积神经网络原理介绍
1 人工神经网络1.1 神经元 神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后,最开始只是简单的线性加权,后来给每个神经元加上了非线性的激活函数,从而进行非线性变换后输出。每两个神经元之间的连接代表加权值,称之为权重(weight)。不同的权重和激活函数,则会导致神经网络不同的输出。 举个手写识别的例子,给定一个未知数字,让神经网络识别是什么数字原创 2017-06-15 09:14:58 · 1395 阅读 · 0 评论 -
TensorFlow基础 介绍
使用 TensorFlow, 你必须明白 TensorFlow:使用图 (graph) 来表示计算任务.在被称之为 会话 (Session) 的上下文 (context) 中执行图.使用 tensor 表示数据.通过 变量 (Variable) 维护状态.使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.综述原创 2017-06-14 21:34:23 · 413 阅读 · 0 评论 -
机器翻译基础
端到端的神经网络机器翻译(End-to-End Neural Machine Translation)是近几年兴起的一种全新的机器翻译方法。本文首先将简要介绍传统的统计机器翻译方法以及神经网络在机器翻译中的应用,然后介绍NMT中基本的“编码-解码”框架(Encoder-Decoder)。本文中,详细介绍的工作有: Kyunghyun Cho, Bart van Merrenboer, C原创 2017-09-03 22:55:53 · 871 阅读 · 0 评论 -
深度学习基础(六):LSTM模型及原理介绍
看到一篇讲LSTM非常清晰的文章,原文来自Understanding LSTM Networks , 译文来自理解LSTM网络,以下做了简单的介绍Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃,然后用空白的原创 2017-06-14 10:50:53 · 24513 阅读 · 3 评论 -
深度学习基础(五):循环神经网络概念、结构及原理实现
本文的概念和结构部分摘自循环神经网络惊人的有效性循环神经网络 序列 普通神经网络和卷积神经网络的一个显而易见的局限就是他们的API都过于限制:他们接收一个固定尺寸的向量作为输入(比如一张图像),并且产生一个固定尺寸的向量作为输出(比如针对不同分类的概率)。不仅如此,这些模型甚至对于上述映射的演算操作的步骤也是固定的(比如模型中的层数)。RNN之所以如此让人兴奋,其核心原因在于其原创 2017-06-14 10:44:49 · 1905 阅读 · 0 评论 -
深度学习基础(四):各种优化方法总结
最近在看Google的Deep Learning一书,看到优化方法那一部分,正巧之前用tensorflow也是对那些优化方法一知半解的,所以看完后就整理了下放上来,主要是一阶的梯度法,包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的A原创 2017-06-14 10:38:55 · 443 阅读 · 0 评论 -
TensorFlow教程03:MNIST实验——回归的实现、训练和模型评估
实现回归模型为了用Python实现高效的数值计算,我们通常会使用函数库,比如NumPy,会把类似矩阵乘法这样的复杂运算使用其他外部语言实现。不幸的是,从外部计算切换回python的每一个操作,仍然是一个很大的开销。如果你用GPU来进行外部计算,这样的开销会更大。用分布式的计算方式,也会花费更多的资源用来传输数据。TensorFlow也把复杂的计算放在python之外完成,但是为了避转载 2017-06-14 21:25:27 · 662 阅读 · 0 评论 -
TensorFlow教程02:MNIST实验——Softmax回归
首先声明,这个教程的目标读者是机器学习和TensorFlow的新手。如果你熟悉MNIST和Softmax回归,有另外一篇快速教程你可以学习。开始学习这篇教程前,请确认你已正确安装TensorFlow,。我们知道MNIST中的每幅图像都是一个数字,不论它是0还是9。我们想在看到一幅图像时,能给出它是每一个数字的概率。比如,我们的明星在看到9的图像时,会得出它有80%的可能性是9、5%的可能性转载 2017-06-14 21:22:11 · 500 阅读 · 0 评论 -
TensorFlow教程01:MNIST实验——MNIST介绍
在我们学习任何一门编程语言的时候,我们做的第一件事情就是写一个“Hello World!”程序;机器学习的“Hello World!”就是MNIST。MNIST是一个简单的计算机视觉数据集,它由下述的手写阿拉伯数字图像构成:MNIST同时也包括这些图像的标注,比如上述图像的标注分别是5,0,4和1。在这篇教程中,我们会训练一个模型去预测图像是什么数字。我们当前的目标并不是精心训练一转载 2017-06-14 21:16:47 · 1182 阅读 · 0 评论 -
TensorFlow教程05:MNIST深度学习初探
TensorFlow是一个非常强大的用来做大规模数值计算的库。其所擅长的任务之一就是实现以及训练深度神经网络。在本教程中,我们将学到构建一个TensorFlow模型的基本步骤,并将通过这些步骤为MNIST构建一个深度卷积神经网络。这个教程假设你已经熟悉神经网络和MNIST数据集。如果你尚未了解,请查看新手指南.安装在创建模型之前,我们会先加载MNIST数据集,然后启转载 2017-06-14 21:29:22 · 536 阅读 · 0 评论 -
TensorFlow教程06:MNIST的CNN实现——源码和运行结果
假定您已经安装好了TensorFlow,这里放了第二个MNIST实验的代码和参考结果,你可以直接运行验证。源码[python] view plain copyprint?#!/usr/bin/python import tensorflow as tf import sys from tensorflow.examples.tuto转载 2017-06-14 21:31:49 · 687 阅读 · 0 评论 -
DNN深度神经网络 的原理 以及 使用
DNN 深度神经网络,就是 把原有的多层神经网络 扩展到深度学习里面,加上了BP 反馈,是的整理上 loss 收敛 直至不变,同时也有dropout 前面 有很多这个词 出现,dropout 是指 随机用一定概率 把一些 节点失效,进行参与训练 放置数据整理上陷入overfitting 局部最优解。DNN ,就是去掉C 之后 使用全连接层+dropout下降+relu激活 一层一原创 2017-06-13 20:09:25 · 10515 阅读 · 0 评论 -
深度学习基础(一):logistic分类
这个系列主要记录我在学习各个深度学习算法时候的笔记,因为之前已经学过大概的概念,所以这轮学习比较着重于公式推导和具体实现,而对概念上的描述不多,因此比较适合对此有一定基础的同学。在正式开始写深度学习的知识之前,会有两节传统神经网络的内容,因为深度学习中大量运用了以往神经网络的知识。搞懂传统的神经网络如何工作是很有必要的,有助于对之后的学习打下坚实的基础。1. logisti原创 2017-06-14 10:24:20 · 538 阅读 · 0 评论 -
深度学习基础(二):简单神经网络,后向传播算法及实现
在之前的深度学习笔记(一):logistic分类 中,已经描述了普通logistic回归以及如何将logistic回归用于多类分类。在这一节,我们再进一步,往其中加入隐藏层,构建出最简单的神经网络2.简单神经网络及后向传播算法2.1 大概描述和公式表达神经网络的大概结构如图所示, 从左往右,分别是输入层,隐藏层,输出层,分别记为x,h,y.原创 2017-06-14 09:56:23 · 472 阅读 · 0 评论 -
深度学习基础(三):激活函数和损失函数
这一部分来探讨下激活函数和损失函数。在之前的logistic和神经网络中,激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。事实上,这两部分都有很多其他不错的选项,下面来一一讨论3. 激活函数和损失函数3.1 激活函数关于激活函数,首先要搞清楚的问题是,激活函数是什么,有什么用?不用激活函数可不可以?答案是不可以。激活函数的主要作用是提供网络的原创 2017-06-14 10:32:31 · 1290 阅读 · 0 评论 -
那些年在华电的光辉岁月
时光荏苒,岁月匆匆,在华北电力大学的学习生涯即将结束。回首过去的两年半。。。。原创 2018-03-21 16:24:26 · 601 阅读 · 0 评论