深度学习
zcc_TPJH
I can fly high, I can go low!
展开
-
无监督特征学习基本原理
深度学习在早期一度被认为是一种无监督的特征学习,模仿了人脑对特征逐层抽象提取的过程。深度学习可以解决人工难以提取有效特征的问题,可以大大缓解机器学习模型对特征工程的依赖。无监督特征学习最重要的两点:不需要标注数据就可以对数据进行一定程度的学习,这种学习是对数据内容的组织形式的学习,提取的是频繁出现的特征。逐层抽象:特征是需要不断抽象的,就像人总是从简单基础的概念开始学习,再到复杂的原创 2017-11-21 21:56:31 · 2602 阅读 · 0 评论 -
优化算法总结
优化器算法简述首先来看一下梯度下降最常见的三种变形:批量梯度下降(BGD)随机梯度下降(SGD)小批量随机梯度下降(MSGD)这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度, 涉及参数更新的准确率和运行时间。批量梯度下降(BGD)梯度更新规则: BGD 采用整个训练集的数据来计算 cost function 对参数的梯度: θ=θ−α∇θJ(θ)γvt−1缺点: 由于这种方法是在一次...原创 2018-06-20 14:10:36 · 1573 阅读 · 1 评论 -
特征图大小的计算
卷积中的特征图大小计算方式有两种,分别是‘VALID’和‘SAME’,卷积和池化都适用,当尺寸不被整除时,卷积向下取整,池化向上取整。 1.如果计算方式采用'VALID',则:其中为输出特征图的大小,为输入特征图的大小,F为卷积核大小,stride为卷积步长。2.如果计算方式采用'SAME',输出特征图的大小与输入特征图的大小保持不变,其中padding为特征图填充的圈...原创 2018-06-19 13:21:47 · 14342 阅读 · 3 评论 -
特征工程
有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。特征工程其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳,人们认为特征工程包括以下方面:特征选择的经典经验总结起来主要有三种:1)Filter:过滤法,按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,选择特征。2)Wrapper:包装法,根...原创 2018-04-24 21:25:31 · 260 阅读 · 0 评论 -
反向传导算法学习
【转】http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95假设我们有一个固定样本集 ,它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲,对于单个样例 ,其代价函数为:这是一个(二分之一的)方差代价函数。给定一个包含 个样例的数据...转载 2018-04-24 20:23:27 · 296 阅读 · 0 评论 -
支持向量机(SVM)-----学习笔记一(原理详解与公式推导)
支持向量机(SVM)什么是支持向量机?支持向量机,因其英文名为support vector machine,故一般简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。SVM思想(线性可分支持向量机)图一给定一些数据点,它们分别属于两个不同的类,现在要找到一个线性分类器把这些数据分成两类。在决策...原创 2018-05-08 19:43:05 · 1852 阅读 · 0 评论 -
人工智能实践:Tensorflow笔记(二)
import tensorflow as tfimport numpy as npBATCH_SIZE=8SEED=23455#基于seed产生随机数rdm=np.random.RandomState(SEED)#从X这个32行2列的矩阵中 取出一行 判断如果和小于1 给Y赋值1 如果和不小于1 给Y赋值0#作为输入数据集的标签(正确答案)X=rdm.rand(32,2)#给标签...原创 2018-04-06 12:44:50 · 1336 阅读 · 0 评论 -
人工智能实践:Tensorflow笔记(一)
import tensorflow as tfa=tf.constant([1.0,2.0])b=tf.constant([3.0,4.0])result=a+bprint(result)#Tensor("add:0", shape=(2,), dtype=float32)import tensorflow as tfa=tf.constant([[1.0,2.0]]) #定义一个2 ...原创 2018-04-05 17:21:06 · 1026 阅读 · 0 评论 -
人工智能实践:Tensorflow笔记(三)
实现手写体 mnist 数据集的识别任务,共分为三个模块文件,分别是描述网络结构的前向传播过程文件(mnist_forward.py)、描述网络参数优化方法的反向传播过程文件( mnist_backward.py )、 验证模型准确率的测试过程文件(mnist_test.py)。在前向传播过程中,需要定义网络模型输入层个数、隐藏层节点数、输出层个数, 定义网络参数 w、偏置 b,定义由输入到输出的...原创 2018-04-15 18:06:46 · 551 阅读 · 0 评论 -
Tensorflow学习笔记(二)实现降噪自动编码器--设计计算图
import numpy as npimport tensorflow as tfimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'#Xavier均匀初始化''' 如果网络的权重初始化太小,信号在层间传递时逐渐缩小会难以产生作用,如果权重初始化过大,那信号在层间传递时会被逐渐放大,最终导致发散。 Xavier均匀初始化,这原创 2018-01-09 22:14:58 · 795 阅读 · 0 评论 -
SqueezeNet论文与源码阅读
论文下载地址:http://arxiv.org/abs/1602.07360 论文代码:https://github.com/DeepScale/SqueezeNet前言SqueezeNet目标设计不是为了得到最佳的CNN识别精度,而是希望简化网络复杂度,同时达到公共网络的识别精度。所以SqueezeNet 主要是为了降低CNN模型参数数量而设计的。SqueezeNet是一个高密小...原创 2018-10-26 15:56:46 · 1628 阅读 · 0 评论