Deep Learning
大数据AI
专注于IT技术分享
展开
-
LeNet-5 – A Classic CNN Architecture
LeNet 诞生于 1994 年,是最早的卷积神经网络之一,并且推动了深度学习领域的发展。自从 1988 年开始,在许多次成功的迭代后,这项由 Yann LeCun 完成的开拓性成果被命名为 LeNet5。LeNet-5 出自论文 Gradient-Based Learning Applied to Document Recognition,是一种用于手写体字符识别的非常高效的卷积神经网络。Le...转载 2020-04-14 00:11:37 · 367 阅读 · 0 评论 -
LSTM(长短期记忆网络)
在上篇文章一文看尽RNN(循环神经网络)中,我们对RNN模型做了总结。由于RNN也有梯度消失的问题,因此很难处理长序列的数据,大牛们对RNN做了改进,得到了RNN的特例LSTM(Long Short-Term Memory),它可以避免常规RNN的梯度消失,因此在工业界得到了广泛的应用。下面我们就对LSTM模型做一个总结。Long Short Term Memory networks(以下简称L...原创 2020-03-20 20:06:05 · 1654 阅读 · 0 评论 -
一文看尽RNN(循环神经网络)
循环神经网络简介BP算法,CNN之后,为什么还有RNN?细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了.因此, RNN就应运而生了。什么是 RNN?...原创 2020-03-13 18:17:27 · 3264 阅读 · 0 评论 -
监督学习算法模型评估实例(sklearn版)
sklearn机器学习包中的模型评估指标都在包sklearn.metrics下;链接地址:https://scikit-learn.org/stable/modules/classes.html?highlight=metrics#module-sklearn.metrics这里我们选择几个常用的指标进行展示,sklearn的版本为0.22.1。混淆矩阵(confusion_matrix)...原创 2020-03-03 11:51:37 · 568 阅读 · 0 评论 -
监督学习算法模型评估
在分类模型评判的指标中,常见的方法有如下三种:混淆矩阵(也称误差矩阵,Confusion Matrix)ROC曲线AUC值在回归模型评价指标中,常用的方法有如下几种:MSERMSEMAER2混淆矩阵(Confusion matrix)在机器学习领域中,混淆矩阵(confusion matrix)是一种评价分类模型好坏的形象化展示工具。混淆矩阵的定义混淆矩阵是ROC曲...原创 2020-03-03 11:44:21 · 2158 阅读 · 0 评论 -
梯度下降法
梯度下降法(Gradient Descent,GD)是一种常见的一阶(first-order)优化方法,是求解无约束优化问题最简单、最经典的方法之一。,在最优化、统计学以及机器学习等领域有着广泛的应用。所谓的一阶方法就是仅使用目标函数的一阶导数,不利用其高阶导数。那什么是无约束优化问题呢?举个例子,在一元函数法f(x)f(x)f(x)的图像中,求无约束最优化问题,即不对定义域或值域做任何限制的...原创 2020-03-01 12:13:39 · 461 阅读 · 0 评论 -
ImageNet 中的 LRN
LRN(Local Response Normalization)LRN神经网络初学者,没有什么理论基础,偶然看到个ImageNet,就准备从其入手,先弄懂每层的含义,其中这个LRN层真是让人百思不得其解,搜索了下,给出的介绍比较少。为什么会比较少呢,搜索到最后我得出的结论是,这货似乎没什么多少卵用。。。 ImageNet中的LRN层是按下述公式计算的: 但似乎,在后来转载 2018-01-29 00:07:05 · 418 阅读 · 0 评论 -
梯度消失与梯度爆炸
梯度消失与梯度爆炸网络层数太多是导致梯度消失或者梯度爆炸的直接原因, 使用S型激活函数(如:sigmoid函数,tanh函数)会导致梯度消失问题,初始权重设置太大会导致梯度爆炸。梯度消失指的是权重不再更新,直观上看是从最后一层到第一层权重的更新越来越慢,直至不更新。本质原因是反向传播的连乘效应,导致最后对权重的偏导接近于零。主要是因为以前用sigmoid的时候,sigmoid中心部位和原创 2018-01-29 00:08:20 · 582 阅读 · 0 评论 -
CNN (卷积神经网络)
CNNCNN简介卷积神经网络(Convolutional Neural Networks,简称CNN)。卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成,即INPUT-CONV-RELU-POOL-FC。初识卷积首先,我们去学习卷积层的模型原理,在学习卷积层的模型原理前,我们需要了解什么是卷积,以及CNN中的卷积是什么样子的。大家学习数学时都有原创 2018-01-29 00:18:51 · 6880 阅读 · 0 评论 -
Keras 实现线性回归
Keras 实现线性回归import kerasimport numpy as npimport matplotlib.pyplot as plt# Sequential按顺序构成的模型from keras.models import Sequential# Dense全连接层from keras.layers import Dense# 使用numpy生成100个随机...原创 2018-07-04 21:00:11 · 1004 阅读 · 0 评论 -
Keras 实现非线性回归
Keras 实现非线性回归import kerasimport numpy as npimport matplotlib.pyplot as plt# Sequential按顺序构成的模型from keras.models import Sequential# Dense全连接层from keras.layers import Dense,Activationfrom ker...原创 2018-07-04 21:23:13 · 1331 阅读 · 0 评论 -
Serving a TensorFlow Model
Serving a TensorFlow ModelFrom https://tensorflow.google.cn/serving/serving_basicGet and Run TensorFlow Serving From Docker$ docker pull songxitang/tensorflow-serving$ docker run -it songxi原创 2018-01-29 00:06:16 · 556 阅读 · 0 评论 -
Building Standard Tensorflow Model Server
Building Standard TensorFlow ModelServerFrom https://tensorflow.google.cn/serving/serving_advancedThis tutorial shows you how to use TensorFlow Serving components to build the standard TensorFlow原创 2018-01-29 00:05:43 · 438 阅读 · 1 评论 -
图像分类 top-5 错误率
什么是图像分类的Top-5错误率?top1就是你预测的label取最后概率向量里面最大的那一个作为预测结果,你的预测结果中概率最大的那个类必须是正确类别才算预测正确。而top5就是最后概率向量最大的前五名中出现了正确概率即为预测正确。 主要是ImageNet数据集Label有一定的误差,很多图片人类看来可以归为好几个类,所以就用top-5当一个重要的评测标准. top-5转载 2018-01-25 14:54:28 · 2693 阅读 · 0 评论 -
numpy 数组维度操作汇总
From numpy 数组维度操作总汇numpy中如何改变数组维度呢?写在前面所有的重排原则:从原数组最深维度开始依次取元素排到转换后数组最深维度处1、reshape & resize & shape 改变数组维度reshape函数:不改变原数组维度,有返回值 resize函数:直接改变原数组维度,无返回值 shape属性:直接改变原数组维度>转载 2018-01-25 16:14:17 · 1159 阅读 · 0 评论 -
Improving Inception and Image Classification in Tensorflow
Improving Inception and Image Classification in TensorflowFrom Improve Inception and Image Classification in TensorflowEarlier this week, we announced the latest release of the TF-Slim library for转载 2018-01-25 18:24:58 · 288 阅读 · 0 评论 -
深度学习 — 反向传播(BP)理论推导
深度学习 — 反向传播(BP)理论推导反向传播算法推导UFLDL教程 - 神经网络UFLDL教程 - 反向传导算法UFLDL教程 - 神经网络向量化 默认 残差 δ(l)=∂J(W,b)∂z(l)" role="presentation">δ(l)=∂J(W,b)∂z(l)δ(l)=∂J(W,b)∂z(l)\delta ^{(l转载 2018-01-28 18:24:05 · 741 阅读 · 0 评论 -
TensorFlow 之 RNN 使用
定义cell在很多用到rnn的paper中我们会看到类似的图:这其中的每个小长方形就表示一个cell。每个cell中又是一个略复杂的结构,如下图:图中的context就是一个cell结构,可以看到它接受的输入有input(t),context(t-1),然后输出output(t),比如像我们这个任务中,用到多层堆叠的rnn cell的话,也就是当前层的cell的output还要原创 2018-01-28 18:39:04 · 1485 阅读 · 0 评论 -
TensorFlow 基本数据类型
TensorFlow中最基本的单位是常量(Constant)、变量(Variable)和占位符(Placeholder)。常量定义后值和维度不可变,变量定义后值可变而维度不可变。在神经网络中,变量一般可作为储存权重和其他信息的矩阵,而常量可作为储存超参数或其他结构信息的变量。占位符属于变量变量(Variable)训练模型时,需要使用变量(Variables)保存和更新参数。Va原创 2018-01-28 18:53:24 · 3429 阅读 · 0 评论 -
TensorFlow模型保存和加载方法
TensorFlow模型保存和加载方法模型保存import tensorflow as tfw1 = tf.Variable(tf.constant(2.0, shape=[1]), name="w1-name")w2 = tf.Variable(tf.constant(3.0, shape=[1]), name="w2-name")a = tf.placeholder(dt原创 2018-01-28 22:36:18 · 8375 阅读 · 0 评论 -
TensorFlow 分布式(Distributed TensorFlow)
Distributed Tensorflow基本概念Tensorflow 集群 A TensorFlow “cluster” is a set of “tasks” that participate in the distributed execution of a TensorFlow graph. Each task is associated with a TensorF原创 2018-01-28 22:53:36 · 23875 阅读 · 3 评论 -
TensorFlow Serving Introduction
TensorFlow Serving IntroductionTensorFlow Serving 是一个高性能、开源的机器学习服务系统,为生产环境及优化TensorFlow而设计。它更适合运行多个大规模模型,并支持模型生命周期管理、多种算法实验及有效地利用GPU资源。TensorFlow Serving能够让训练好的模型更快、更易于投入生产环境使用。TensorFlow和TensorFl原创 2018-01-28 22:57:20 · 1132 阅读 · 0 评论 -
TensorFlow Serving Architecture
Serving FrameworkTrain:训练模型的过程exporter:负责将训练好的模型导出Sever:负责存储操作,例如将对象存储到磁盘Server:提供grpc server,组织request调用Module,将结果response clientModuleManager:负责加载训练好的模型Scheduler:负责请求的调度,例如BatchScheduler(b原创 2018-01-29 00:04:58 · 871 阅读 · 0 评论 -
图像相关数据集汇总
1. CIFAR-10 & CIFAR-100 CIFAR-10包含10个类别,50,000个训练图像,彩色图像大小:32x32,10,000个测试图像。 (类别:airplane,automobile, bird, cat, deer, dog, frog, horse, ship, truck) (作者:Alex Krizhevsky, Vinod Nair转载 2018-01-25 14:22:45 · 649 阅读 · 0 评论