Deep Learning
文章平均质量分 59
DrCrypto
这个作者很懒,什么都没留下…
展开
-
机器学习相关基本术语
机器学习相关基本术语@(Machine Learning)学习/训练(Learning/Training):从数据中学得模型的过程。学习过程就是找出或者逼近真相。模型也称作学习器(learner)。标记空间:label space也称作输出空间。示例结果称作标记。学习任务的分类分类(classification)回归(regression)预测的值是离散值时,学习任务叫作分类。 预测是追是连原创 2017-06-02 16:00:26 · 805 阅读 · 0 评论 -
【深度学习】IMDB数据集上电影评论二分类
任务描述根据电影评论的文字内容来将电影划分为正面或者负面。IMDB数据集50000条两级分化的评论。正面负面各为50%。# 加载数据from keras.datasets import imdb(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000) # 仅保留训练数据中...原创 2018-12-21 13:01:17 · 5396 阅读 · 0 评论 -
【深度学习】使用Keras开发的流程概述
开发流程典型的Keras工作流程如下:定义训练数据:输入张量和目标张量定义层组成的网络(模型),将输入映射到目标配置学习过程:选择损失函数,优化器和需要监控的指标调用模型的fit方法在训练数据上迭代定义模型的方法有两种方法:使用Sequential类,仅仅用于层的线性堆叠,目前最常用函数式API,可以构建任意形式的架构案例:线性堆叠法from keras impor...原创 2018-12-21 00:57:51 · 1090 阅读 · 0 评论 -
【深度学习】深度学习的四大组件
这四大组件就是:层输入数据和标签损失函数优化器这四者的关系描述如下:多层组合在一起形成了网络,网络的目的是将输入数据映射为预测值,通过损失函数将预测值和目标值比较,得出损失值,用来衡量网络的性能,而优化器的职责是迭代优化损失值来更新网络权重(BP算法)。层:构建网络的乐高积木深度学习模型的最常见用法是层的线性堆叠,将单一输入映射为单一输出,即数据从一端进,然后从另一端出。但...原创 2018-12-21 00:39:04 · 1511 阅读 · 0 评论 -
【深度学习基础】张量的描述与深度学习常见张量
一些概念深度学习中的所有数据张量的第一个轴都是样本轴,也称之为样本维度。另外,深度学习模型不会同时处理整个数据集,而是将数据拆分成小批量,比如前面的案例就是每次取128个数据作为一个批量。batch = train_images[:128]# nextbatch = train_images[128:256]# nth batch = train_images[128 * n: 128...原创 2018-12-20 23:49:08 · 2212 阅读 · 1 评论 -
【深度学习】张量
张量是一个数据容器,包含的数据是数值数据。矩阵是二维张量,而张量则是矩阵向任意维度的推广。张量的维度(dimension)通常叫作轴(axis)。标量只有一个数字的张量叫作标量,也叫0维张量。我们可以通过ndim来查看张量的维度,或者说轴的个数。向量一维张量,只有一个轴。x = np.array([1,2,3,4,5])x.ndim # 1这里需要区分一个概念是:5维向量和5维...原创 2018-12-20 23:27:42 · 1874 阅读 · 0 评论 -
【深度学习】基于Keras的手写体识别
from keras import modelsfrom keras import layersfrom keras.datasets import mnist# 搭建网络network = models.Sequential()network.add(layers.Dense(512, activation='relu', input_shape=(28*28,)))network...原创 2018-12-20 22:08:33 · 1000 阅读 · 0 评论 -
【深度学习】基于Numpy实现的神经网络进行手写数字识别
直接先用前面设定的网络进行识别,即进行推理的过程,而先忽视学习的过程。推理的过程其实就是前向传播的过程。深度学习也是分成两步:学习 + 推理。学习就是训练模型,更新参数;推理就是用学习到的参数来处理新的数据。from keras.datasets.mnist import load_dataimport pickledef sigmoid(x): return 1 / (1 + n...原创 2018-12-20 20:29:34 · 3280 阅读 · 0 评论 -
【机器学习】输出层的设计
神经网络可以用于分类和回归问题,但是最后在输出时需要根据情况来设定输出层的激活函数。一般来说,回归问题:恒等函数分类问题:softmax函数https://blog.csdn.net/u011240016/article/details/85121601恒等函数与softmax函数恒等函数:输入 = 输出softmax函数yk=exp(ak)∑i=1nexp(ai)y_k = ...原创 2018-12-20 16:02:59 · 2099 阅读 · 0 评论 -
【深度学习】单标签多分类问题之新闻主题分类
# -*- coding: utf-8 -*-"""单标签多分类问题之新闻主题分类.ipynbAutomatically generated by Colaboratory.Original file is located at https://colab.research.google.com/drive/18TqrbGYm2J-jmR89KZHOa7vxbAr4eOz2#...原创 2018-12-21 14:07:12 · 2598 阅读 · 1 评论 -
【深度学习】深度学习分类与模型评估
内容大纲分类和回归之外的机器学习形式评估机器学习模型的规范流程为深度学习准备数据特征工程解决过拟合问题处理机器学习问题的通用流程监督学习的主要种类及其变种主要包括两大类问题:分类回归变种问题主要有:序列生成:给定一张图像,输出描述图像的文字;可以被重新表示为分类问题语法树预测:给定一个句子,输出其分解生成的语法树目标检测:给定一张图像,在图中的目标周围绘制一个...原创 2018-12-22 00:11:17 · 7101 阅读 · 1 评论 -
正则化与奥卡姆剃刀原理
正则化是模型选择的经典方法。在想到正则化时,需要联系到这个词:结构风险最小化。结构风险 = 经验风险 + 正则化项/罚项且一般正则化项是模型复杂度的单调递增函数,即模型越复杂正则化项值就越大。奥卡姆剃刀原理“如无必要,勿增实体。”正则化很符合奥卡姆剃刀原理。为什么呢?正则化可以选出经验风险和模型复杂度同时较小的模型,正则化是直接作用在优化目标里面的。在所有可能选择的模型中,能很好...原创 2019-01-14 20:15:06 · 1163 阅读 · 0 评论 -
【深度学习】全连接层or卷积层
对于图像处理任务而言,在经过一连串的卷积、池化操作后,最后要接一个全连接层来对提取到的特征进行分类或者回归。一般前面带卷积操作的被称之为卷积基,后面跟一层或多层或全连接层。卷积神经网络中流动的是3维/4维张量,是含有空间特征的数据。全连接层则接受的是二维矩阵。比如,现在卷积网络输出的是7x7x512的张量,现在后面跟着1000类的分类神经元,则需要参数是:7x7x512x1000 + 10...原创 2019-01-14 19:13:24 · 1306 阅读 · 0 评论 -
基于Keras搭建mnist数据集训练识别的Pipeline
搭建模型import tensorflow as tffrom tensorflow import keras# get data(train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data()# setup modelmodel = keras.Sequentia...原创 2019-01-18 13:48:52 · 703 阅读 · 0 评论 -
【深度学习原理】交叉熵损失函数的实现
交叉熵损失函数一般我们学习交叉熵损失函数是在二元分类情况下:L=−[ylogy^+(1−y)log(1−y^)]L=−[ylog ŷ +(1−y)log (1−ŷ )]L=−[ylogy^+(1−y)log(1−y^)]推而广之,我们可以得到下面这个交叉熵损失函数公式:E=−∑ktklog(yk)E=-\sum_k{t_k}log(y_k)E=−k∑tklog(yk)从...原创 2019-01-03 23:19:47 · 8882 阅读 · 1 评论 -
【深度学习】卷积计算与训练模型的几种方法
卷积计算全连接层和卷积层的根本区别在于:全连接层(Dense层)从输入空间中学到的是全局模式,而卷积层学到的是局部模式。因为这个特性,所以卷积神经网络有两个有趣的性质:平移不变性:卷积神经网络在图像右下角学到的某个模式,它可以在任何地方识别出来这个模式;而对于全连接网络,如果模式出现在新的位置,就必须重新学习这个模式。所以卷积神经网络需要更少的数据就可以学到具有泛化能力的数据表示。空间层...原创 2018-12-22 22:09:50 · 852 阅读 · 0 评论 -
【深度学习】CNN模型的可视化-1
CNN模型学到的东西很适合可视化,这里介绍三种方法:可视化CNN模型的中间输出(中间激活):帮助我们理解CNN是如何对输入进行变换,以及CNN每个卷积核的含义可视化CNN的卷积核:帮助我们理解卷积核容易接受的视觉模式或概念客户刷图像中类激活的热力图:图像中哪些部分被识别为某个类别,辅助我们定位图像中的物体加载已保存的模型的方法from keras.models import load...原创 2018-12-22 22:02:45 · 1802 阅读 · 0 评论 -
【深度学习】使用预训练模型
主要有两种方法:特征提取微调模型特征提取特征提取就是使用已经训练好的网络在新的样本上提取特征,然后将这些特征输入到新的分类器,从头开始训练的过程。卷积神经网络分为两个部分:一系列池化层+卷积层,也叫卷积基全连接层特征提取就是去除之前训练好的网络的卷积基,在此之上运行新数据,训练新的分类器。我们只是复用卷积基,而不用训练好的分类器的数据,这样做的原因是卷积基学到的表示更加...原创 2018-12-22 20:26:12 · 14688 阅读 · 3 评论 -
【深度学习】ImageDataGenerator的使用--读书笔记
数据预处理现在模型也定义好了,原始数据也准备好了,但是在将数据填入模型之前,需要进行预处理才能使用,填入模型的是浮点数张量。而当前数据是以JPEG文件的形式保存在硬盘中,预处理步骤如下:读取图像文件将JPEG文件解码为RGB像素网格将像素网格转化为浮点数张量将像素值缩放到0~1区间Keras提供了自动完成这些步骤的工具:keras.preprocessing.image,其中有一个...原创 2018-12-22 16:00:56 · 21451 阅读 · 9 评论 -
【深度学习】什么是深度学习-2
三张图理解深度学习工作原理回顾:机器学习就是学习到如何将输入数据映射到目标值,具体实现方式是让模型观察大量的案例(输入 + 目标)。而深度学习则是通过堆叠多个网络层,通过观察学习案例,最终学会对数据进行有意义的表征。现在是时候来具体了解一下深度学习的原理了。网络层的权重 vs. 参数权重和参数是相同的概念,但是到底权重是什么呢?从上面一路引申过来的概念看,权重就是网络层对输入数据学得的表征...原创 2018-12-13 21:48:11 · 461 阅读 · 0 评论 -
【深度学习】什么是深度学习-1
人工智能,机器学习与深度学习问自己一个问题:到底深度学习目前实现了什么成就?它到底有多重要?我们已经处在哪个阶段了?一图看懂三者的关系:人工智能是个大范畴,机器学习是人工智能的一个子集,而深度学习则是机器学习里的更小的子集。但是传统的机器学习其实是比深度学习更难的,要求的数学知识更多,所以不要因为深度学习这个概念更火,而忽视了学习传统机器学习,目前的经验看,坐好冷板凳,把统计机器学习学透...原创 2018-12-13 21:04:45 · 1136 阅读 · 0 评论 -
使用Pycharm运行TensorFlow,Virtualenv安装TensorFlow
使用Pycharm运行TensorFlow,Virtualenv安装TensorFlow@(Machine Learning with Python)系统:MacOS 10.13本篇关注的是两个问题:通过virtualenv创建虚拟环境,并在此环境下安装TensorFlow在Pycharm下配置解释器,在Pycharm下运行训练代码Virtualenv + TensorflowTensorFl原创 2017-10-29 11:55:20 · 6271 阅读 · 1 评论 -
CNN中的权值共享理解
基本名词对应:Feature Map : 特征图,特征映射 Weight:权值,权重权值共享CNN是权重共享,减少了参数的数量。这个有必要再对比研究一下。 一般神经网络层与层之间的连接是,每个神经元与上一层的全部神经元相连,这些连接线的权重独立于其他的神经元,所以假设上一层是m个神经元,当前层是n个神经元,那么共有m×nm \times n个连接,也就有m×nm \times n个权重。权重矩阵原创 2017-11-08 09:38:32 · 28238 阅读 · 5 评论 -
Q-Learning算法学习
Q-Learning算法学习简介Q-Learning算法下,目标是达到目标状态(Goal State)并获取最高收益,一旦到达目标状态,最终收益保持不变。因此,目标状态又称之为吸收态。Q-Learning算法下的agent,不知道整体的环境,知道当前状态下可以选择哪些动作。通常,我们需要构建一个即时奖励矩阵R,用于表示从状态s到下一个状态s’的动作奖励值。由即时奖励矩阵R计算得出指导agent行动的原创 2017-07-28 11:54:25 · 24067 阅读 · 6 评论 -
Monto Carlo估计动作价值(action values)
Monto Carlo估计动作价值(action values)@(Machine Learning)名词翻译action 行动,动作action values 动作价值state values 状态价值policy 策略总体思路 总体的指导思路是:在Model未知时,估计动作价值要比估计状态价值要有用一些。而当Model是已知的,仅仅利用状态价值就足够决定策略。Model未知时,只原创 2017-07-22 13:08:20 · 914 阅读 · 0 评论 -
强化学习基础总结(三)
强化学习基础总结(三)@(Machine Learning)覆盖以下几个主题:Markov过程Markov奖励过程Markov决策过程MDPs扩展MDP简介MDP是用于正式描述强化学习模型中的环境(environment)。这里的环境是完全可观测的。几乎所有的RL问题都可以被定义为MDP模型。马尔可夫性如前面文章所说,马尔可夫性就是:给定现在,将来与过去无关。数学语言描述就是:P[St+1原创 2017-06-27 17:27:31 · 1956 阅读 · 0 评论 -
机器学习相关内容
机器学习相关内容会首发在微信公众号:机器学习小分队。扫码关注:原创 2017-06-25 10:03:23 · 549 阅读 · 0 评论 -
强化学习基础(二)
强化学习基础(二)@(Machine Learning)State分类环境状态 Environment State字面理解起来就是,用于表现环境信息数据,记号为SetS_t^e。统通常来说,SetS^e_t是agent不可见的。而即便SetS_t^e可见,它包含的信息对于agent来说有些也是无关的。智能体状态 agent state记作SatS_t^a,用于内在表示agent处于的状态。这个信息用原创 2017-06-24 00:34:35 · 658 阅读 · 0 评论 -
强化学习的基础总结(一)
强化学习的基础总结(一)@(Machine Learning)机器学习从大类上来分,可以有三种:监督学习无监督学习强化学习现在关注强化学习。强化学习泛泛来说,是一种决策方法。Q:强化学习的与众不同之处是什么? A:有以下几点。 + 无监督。只有奖励信号。而不是监督学习中的标记空间。 + 延迟反馈。奖励系统针对的是行为(action),是一种对动态的评价。 + 时间很重要。强化学习是用原创 2017-06-23 21:53:32 · 1856 阅读 · 0 评论 -
Computer Vision阅读文章总结纪要
Computer Vision阅读文章总结@(Computer Vision)文章列表:Improving neural networks by preventing co-adaption of feature detectors – DropoutImageNet Classification with Deep Convolutional Neural Networks –AlexNet原创 2017-11-30 18:32:51 · 530 阅读 · 0 评论 -
统计学习三要素的思考
统计学习三要素的思考@(Machine Learning)三要素模型策略算法三要素组成一个公式方法 = 模型 + 策略 + 算法模型监督学习里,模型就是待学习的条件概率分布或决策函数。其中,条件概率分布:P̂ (Y|X)\hat P(Y|X)表示在已知输入数据的条件下,输出为Y的概率。将其表示为函数,就是Y=f̂ (X)Y = \hat f(X)。 二者均表示输入与输出随机变量之间的映原创 2017-12-01 19:03:12 · 828 阅读 · 0 评论 -
机器学习中的Bias,Error,Variance的区别
机器学习中的Bias,Error,Variance的区别@(Machine Learning)名词解释Error | 误差Bias | 偏差 – 衡量准确性Variance | 方差 – 衡量稳定性这三个概念的关系是我当前不太理解的。详细阅读参考网页。首先,三者的关系是:Error=Bias+VarianceError = Bias + VarianceError反映的是整个模型的准确度,原创 2017-09-26 22:14:57 · 2044 阅读 · 0 评论 -
【CV】如何使用Tensorflow提供的Object Detection API --1--使用预训练模型
Tensorflow的物体检测API是非常强大的工具,它可以使得没有机器学习背景的人都可以快速部署强大的图像识别,物体检测模型。但是,考虑到使用的指导文档不够丰富,具体如何使用成了很多人的门槛。本篇包含以下几个部分的内容:选择模型适应当前数据集创建并标注自己的数据集修改模型配置文件训练模型存储模型部署模型如何安装git clone https://github.com/te...原创 2018-11-12 11:30:33 · 479 阅读 · 0 评论 -
【CV】如何使用Tensorflow提供的Object Detection API --2--数据转换为TFRecord格式
本篇主要讲的是如何将现存的数据变成Tensorflow记录格式,然后我们就可以用这些数据来进行微调模型,以解决我们关心的问题了。什么是TFRecord格式一般使用TF读取数据有四种方式:预先把所有数据加载进内存在每轮训练中使用原生Python代码读取一部分数据,然后使用feed_dict输入到计算图利用Threading和Queues从TFRecord中分批次读取数据使用Datase...原创 2018-11-12 14:39:48 · 375 阅读 · 0 评论 -
【CV】如何使用Tensorflow提供的Object Detection API--3--手工标注数据
前面两篇看完,我们已经知道如何选用预训练模型以及将现存的其他数据集变成TFRecord格式的数据了。但是如果需要用你自己的数据集,该怎么办呢?本篇主要讲如何创建自己的数据集,并用object_detection提供的模型来进行训练,识别。首先需要的是标记数据。LabelImg工具这个工具能够方便我们标注图片。话不多说,先安装:git clone https://github.com/...原创 2018-11-12 15:14:29 · 317 阅读 · 0 评论 -
【CV】如何使用Tensorflow提供的Object Detection API--4--开始训练模型
至此已经学习了如何选择预训练模型,将数据集转为TFRecord格式。模型和数据都准备好了,是时候开启训练了。这些在COCO数据集上的模型都是针对90类进行识别的,如果自己的任务没有这么多类,或者类不同怎么办呢?如果是我们不是用物体检测的API的话,答案是移除最后的90个类的分类器层,替换为一个新的神经网络层。shape = (fc_2nd_last_get_shape().as_list()...原创 2018-11-12 15:41:41 · 334 阅读 · 0 评论 -
【1】Keras复习之模型,层,训练,评估与预测
本系列主要是针对文档的学习,文档地址是: www.keras.io,文档非常详细。Keras的核心数据结构就是模型,最简单的模型就是序贯模型,也就是Sequential模型,是层的线性堆砌。如果是想要更加复杂的模型,则需要用Keras Functionl API,用这个API我们就可以搭建任意复杂的模型了~~但一般能简单的就用序贯模型。我们也从序贯模型开始。使用方式也很简单:from ke...原创 2018-11-06 11:11:10 · 1647 阅读 · 0 评论 -
手动处理MNIST手写数据集的逻辑斯蒂回归算法实践
打算基于这个写一篇深入理解Tensorflow搭建模型的文章。从MNIST数据的手动处理开始谈起。在MNIST二进制数据集探索–基于Numpy处理这篇文章里,给出了处理MNIST二进制数据的代码。首先问,为什么要自己动手处理这个二进制数据集呢?第一,原因在于我们可以这么做,且MNIST数据量很小,训练集和测试集加起来就100多MB。60000 + 10000条数据。第二,如果是用官...原创 2018-08-22 20:20:55 · 1088 阅读 · 0 评论 -
MNIST二进制数据集探索--基于Numpy处理
话不多说,先上代码,参考博客地址:https://blog.csdn.net/qq_32166627/article/details/62218072import numpy as np import structimport cv2def loadImageSet(filename): binfile = open(filename, 'rb') # 读取二进制文件...原创 2018-08-22 18:40:02 · 859 阅读 · 0 评论 -
keras可视化模型
时间:20190612生成模型from keras.models import Modelfrom keras.layers import Input, Densefrom keras.datasets import mnistfrom keras.utils import np_utils(x_train, y_train), (x_test, y_test) = mnist....原创 2019-06-12 14:31:03 · 1389 阅读 · 0 评论