GoodShot的专栏

转载 深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器--在深度学习的视觉分类中的，这两个分类器的原理和比较

作者： 寒小阳 时间：2015年11月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/49999299 声明：版权所有，转载请注明出处，谢谢。1. 线性分类器在深度学习与计算机视觉系列(2)我们提到了图像识别的问题，同时提出了一种简单的解决方法——KNN。然后我们也看到了KNN在解决这个问题的时候，虽然实现起来非常简单，但是有很大的弊端...

转载 深度学习——预训练

深度网络存在问题:网络越深，需要的训练样本数越多。若用监督则需大量标注样本，不然小规模样本容易造成过拟合（深层网络意味着特征比较多，机器学习里面临多特征：1、多样本 2、规则化 3、特征选择）；多层神经网络参数优化是个高阶非凸优化问题，常收敛较差的局部解；梯度扩散问题，BP算法计算出的梯度随着深度向前而显著下降，导致前面网络参数贡献很小，更新速度慢。解决方法：逐层贪婪训练，无监督预训练（unsup...

转载 熵、交叉熵、相对熵（KL 散度）意义及其关系

转载 向量表示，投影，协方差矩阵，PCA

原文：http://blog.csdn.net/songzitea/article/details/18219237引言当面对的数据被抽象为一组向量，那么有必要研究一些向量的数学性质。而这些数学性质将成为PCA的理论基础。理论描述向量运算即：内积。首先，定义两个维数相同的向量的内积为：内积运算将两个向量映射为一个实数。其计算方式非常容易理解，但是其意义并不明显。所以，我们分析内积的几何意义。假设A...

转载 PCA的本质----特征值分解

本章总结：（可 与主成分分析（PCA）-最大方差解释  https://blog.csdn.net/goodshot/article/details/79950977 结合理解）从数学的角度，对矩阵的特征值分解进行介绍，介绍了符合条件的矩阵和进行特征值分解（2），通过分析协方差的意义（3），使得原始样本X经矩阵A的空间变换后得到的Y的协方差表示出不同特征间的相关性最小（趋于0），从而使用PCA的得...

原创 主成分分析（PCA）-最大方差解释

我阅读了PCA、SVD和LDA。这几个模型相近，却都有自己的特点。本篇打算先介绍PCA，至于他们之间的关系，只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题     真实的训练数据总是存在各种各样的问题：1、 比如拿到一个汽车的样本，里面既有以“千米/每小时”度量的最大速度特征，也有“英里/小时”的最大速度特征，显然这两个特征有一个多余。2、 拿到...

原创 终于明白协方差的意义了

协方差其意义：度量各个维度偏离其均值的程度。协方差的值如果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”。如果正相关，这个计算公式，每个样本对（Xi, Yi）,　每个求和项大部分都是正数，即两个同方向偏离各自均值，而不同时偏离的也有，但是少，这样当样本多时，总和结果为正。下面这个图就很直观。下面转载自：http...

原创 数据的中心化和标准化

简介： 意义：数据中心化和标准化在回归分析中是取消由于量纲不同、自身变异或者数值相差较大所引起的误差。 原理：数据标准化：是指数值减去均值，再除以标准差； 数据中心化：是指变量减去它的均值。 目的：通过中心化和标准化处理，得到均值为0，标准差为1的服从标准正态分布的数据。在回归问题和一些机器学习算法中，以及训练神经网络的过程中，还有PCA等通常需要对原始数据进行中心化（Zero-centered或...

转载 CNN笔记：通俗理解卷积神经网络--理解不同输入通道和卷积核通道关系（红色部分）

1 前言2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。本文内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后，太多的杂事、琐碎事，让我一直想再写点技术性文章但每每恨时...

转载 玩转卷积核

转载：CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。一、卷积只能在同一组进行吗？-...

原创 AlexNet层级分析（涉及：卷积核操作下下层网络特征图size计算；对通道和卷积核尺寸及通道前层feature map和卷积核的运算关系的解释）

先盗一图，摘自ImageNet Classification with Deep Convolutional Neural Networks（Hinton）注：看到这个结构，可以得到以下结论（以2、3层为例）1、第三层有128*2=256个通道，第二层有48*2=96个通道。每个通道内包含一张前层经卷积核卷积的的feature map,共256张和96张。而由第二层到第三层，第三层通道数（或fea...

原创 如何理解np.sum tf.reduce_sum( tf.reduce_max tf.reduce_mean)等对tensor和高维矩阵的axis选择的操作

一个不是很简单，但是很好理解的方法是：你的输入矩阵的shape是(2,2,4)，那么当axis=0时，就是在第一个dimension上进行求和，最后得到的结果的shape就是去掉第一个dimension后的shape，也就是(2,4)。具体的计算方法则是，对于c[i,j,k]，假设输出矩阵为s[j,k]，第一个dimension求和那么就是s[j,k]=∑i(c[i,j,k])如果axis=1，那...

转载 有关l2,1范数作用的理解--正则化项作用，不同于l1范数（矩阵元素绝对值之和）的稀疏要求，l21范数还要求行稀疏

今天和导师讨论问题的时候，说到了l21范数。导数希望我能解释一下，我明白它的作用可是我知道我没有向老师解释清楚，有些失落。今晚就自己总结一下吧，希望下次再有人问我这个问题的时候我能向别人解释清楚。先看上面l21范数的定义，注意原始矩阵是n行t列的，根号下平方是对列求和，也就是说是在同一行中进行操作的，根号部分就相当于一个l2范数，由此可以看出l21范数实则为矩阵X每一行的l2范数之和。在矩阵稀疏表...

转载 常见向量范数和矩阵范数

1、向量范数1-范数：，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。∞-范数：，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。-∞-范数：，即所有向量元素绝对值中的最小值，matlab调用函数norm(x, ...

原创 如何理解张量tensor

1 关于张量的四种定义“张量”在不同的运用场景下有不同的定义。第一个定义，张量是多维数组，这个定义常见于各种人工智能软件。听起来还好理解。--本文仅解释此种2 多维数组从第一个定义：张量是多维数组开始。现在机器学习很火，知名开源框架tensor-flow是这么定义tensor（张量）的：A tensor is a generalization of vectors and matrices to ...

转载 Tensorflow CNN(两层卷积+全连接+softmax)

由于卷积用于分类的方法非常固定，因此直接贴上源码以及链接，有需要的直接稍加修改就可以了。 传送门 简单写一下心得体会 卷积层+pooling层#定义变量，初始化为截断正态分布的变量def weight_variable(shape): initial = tf.truncated_normal(shape, stddev=0.1) return tf.Variable(initi...

原创 TensorFlow 基本使用

本文结合以下文章理解最好：https://wenku.baidu.com/view/f09546d4dc88d0d233d4b14e852458fb770b38ef.html使用TensorFlow，你必须明白TensorFlow：使用图(graph)来表示任务被称之为会话(Session)的上下文(context)中执行图使用tensor表示数据通过变量(Variable)维护状态使用feed和...

转载 tf.nn.conv2d理解(带通道的卷积图片输出案例)

三篇参考：1.https://blog.csdn.net/goodshot/article/details/79655915 TF-卷积函数 tf.nn.conv2d 介绍2.https://blog.csdn.net/goodshot/article/details/79677758  tf.nn.conv2d理解(带通道的卷积图片输出案例)3.https://blog.csdn.net/goo...

转载 彻底搞懂CNN

之前通过各种博客视频学习CNN，总是对参数啊原理啊什么的懵懵懂懂。。这次上课终于弄明白了，O(∩_∩)O~上世纪科学家们发现了几个视觉神经特点，视神经具有局部感受野，一整张图的识别由多个局部识别点构成；不同神经元对不同形状有识别能力，且视神经具有叠加能力，高层复杂的图案可以由低层简单线条组成。之后人们发现经过conclusional的操作，可以很好反映视神经处理计算的过程，典型的是1998年LeC...

转载 TF-卷积函数 tf.nn.conv2d 介绍

tf.nn.conv2d是TensorFlow里面实现卷积的函数，参考文档对它的介绍并不是很详细，实际上这是搭建卷积神经网络比较核心的一个方法，非常重要tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)除去name参数用以指定该操作的name，与方法有关的一共五个参数：第一个参数input：...

原创 1. 根据输出的数据，对各个阶维度的反推+2.tf中生成根据指定的shape，tensor的各个阶的维度判断

方法：从最内部的不能分解元素观看，确定包括在最里面[]的个数，作为最后的一级的阶的维度,再以该[]为级别，数出同级的包括在另外一个[]之内的作为倒数第二阶的维度，依此类推，直到最后一级最为外层的[]结束。input=tf.random_normal([2, 3, 3, 5]) sess=tf.Session()mat=sess.run(input)print("mat:",mat) #生成四维张...

转载 【TensorFlow】tf.nn.conv2d是怎样实现卷积的？

三篇参考：1.https://blog.csdn.net/goodshot/article/details/79655915 TF-卷积函数 tf.nn.conv2d 介绍2.https://blog.csdn.net/goodshot/article/details/79677758  tf.nn.conv2d理解(带通道的卷积图片输出案例)3.https://blog.csdn.net/goo...

原创 tensorflow中random_normal的使用，案例说明，一看便知

先说明函数：tf.random_normaltf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)Outputs random values from a normal distribution.Args:shape: A 1-D integer Tensor or Python a...

转载 DFF（深度前馈网络）学习参考

这篇教程是翻译Peter Roelants写的神经网络教程，作者已经授权翻译，这是原文。该教程将介绍如何入门神经网络，一共包含五部分。你可以在以下链接找到完整内容。（一）神经网络入门之线性回归Logistic分类函数（二）神经网络入门之Logistic回归（分类问题）（三）神经网络入门之隐藏层设计Softmax分类函数（四）神经网络入门之矢量化（五）神经网络入门之构建多层网络...

转载 DFF之--（一）神经网络入门之线性回归

这篇教程是翻译Peter Roelants写的神经网络教程，作者已经授权翻译，这是原文。该教程将介绍如何入门神经网络，一共包含五部分。你可以在以下链接找到完整内容。（一）神经网络入门之线性回归Logistic分类函数（二）神经网络入门之Logistic回归（分类问题）（三）神经网络入门之隐藏层设计Softmax分类函数（四）神经网络入门之矢量化（五）神经网络入门之构建多层网络这篇教程中的代码是由 ...

原创 解释一下全连接层&CNN中全连接层是什么样的

(名称：全连接。意思就是输出层的神经元和输入层的每个神经元都连接)在卷积神经网络的最后，往往会出现一两层全连接层，全连接一般会把卷积输出的二维特征图转化成一维的一个向量，这是怎么来的呢？目的何在呢？举个例子：最后的两列小圆球就是两个全连接层，在最后一层卷积结束后，进行了最后一次池化，输出了20个12*12的图像，然后通过了一个全连接层变成了1*100的向量。这是怎么做到的呢，其实就是有20*100...

转载 CNN中全连接层是什么样的

名称：全连接。意思就是输出层的神经元和输入层的每个神经元都连接。例子： AlexNet  网络中第一个全连接层是这样的：layer {   name: "fc6"   type: "InnerProduct"   bottom: "pool5"   top:"fc6"   param {     lr_mult: 1     decay_mult: 1   }   param {     lr_m...

原创 线性映射和线性变换的区别

线性映射(linear map)，是从一个向量空间V到另一个向量空间W的映射且保持加法运算和数量乘法运算。线性映射总是把线性子空间变为线性子空间，但是维数可能降低。而线性变换(linear transformation)是线性空间V到其自身的线性映射    线性空间V到自身的映射通常称为V上的一个变换。    同时具有以下定义:    线性空间V上的一个变换A称为线性变换，如果对于V中任意的元素α...

转载 数学-矩阵计算（4）两种布局

之前会发现在有的求导上最后结果需要转置，而有的不需要，很困惑，然后才发现了这个维基上面的解释（这才是写该博文的主要价值，注意到不同的布局问题，其他部分只是为了完整性而写的），而且下面也有很多很不错的参考链接，其中就有之前的矩阵计算（2）和矩阵计算（3）的链接。维基最后更新时间：17 April 2015, at 21:34.matrix calculus    在数学上, 矩阵微积分是用来表示多变...

转载 数学-矩阵计算（2）矩阵函数微积分前奏

 矩阵微积分会涉及到对矩阵函数操作的规则。例如，假设将一个m×n 的矩阵 X 映射到一个p×q 的矩阵 Y 中。而我们期望获得的导数表达式如下：对于所有的 i，j 和k，l 来说，这里主要的困难在于如何将对矩阵内的元素对应的求导，我们在矩阵计算（1）中最后有关矩阵对矩阵的求导，可是如果矩阵过大，那就非人力可以为之了，所以，为了更好的计算，就需要将矩阵的求导上升到一个较高的抽象的层面。    在矩阵...

转载 数学-矩阵计算（1）矩阵和向量的求导法则

    机器学习、模式识别等领域，都是需要借助数学的，所以对于数学的理解和运用是十分重要的，这里先转载网上暂时找到的矩阵求导的一小部分。成长路漫漫，多学一点，就能更加接近自己的梦想！矩阵分四个博文介绍，这里是第一个。下面的（一部分）来自某个pdf中，因为不知道出处，所以也就没法引用了。见谅！一、矩阵的元素级别求导1.1 行向量对元素求导设是 n 维行向量，x 是元素，那么：1.2 列向量对元素求导...

原创 python 中 np.sum()函数 通俗易懂理解！

这一篇博客保证是我写的最清楚，最容易理解的博客！！     众所周知，sum不传参的时候，是所有元素的总和。这里就不说了。1 sum函数可以传入一个axis的参数，这个参数怎么理解呢？这样理解：假设我生成一个numpy数组a，如下[python] view plain copy>>> import numpy as np  >>> a = np.array([[...

转载 凸集、凸函数、凸优化问题 概念关联

参考我的博客：http://blog.csdn.net/GoodShot/article/details/79162032机器学习中，经常会用到凸集、凸函数、凸优化问题。 这里对这些概念进行介绍，简单介绍其关系。凸集：如果集合A中任意两个元素的连线上的点也在集合内，则为凸集。见下图。  凸函数：函数任意两点连线上的值大于对应对应自变量出的函数值，则为凸函数。见下图。 凸优化：目标函数是凸函数，变量...

转载 sklearn 常用模块及类与方法

preprocessing StandardScalerLabelEncoderOneHotEncodermodel_selection train_test_split（新版本从 cross_validation 移步于此）decomposition PCAlinear_model： LogisticRegressionpipeline from sklearn.pipeline import ...

转载 数据标准化/归一化normalization

参考:https://blog.csdn.net/GoodShot/article/details/79925164这里主要讲连续型特征归一化的常用方法。离散参考[数据预处理：独热编码（One-Hot Encoding）]。基础知识参考：[均值、方差与协方差矩阵 ][矩阵论：向量范数和矩阵范数 ]数据的标准化（normalization）和归一化    数据的标准化（normalization）是...

转载 pycharm快捷键及一些常用设置

1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档Shift + F1 外部文档Ctrl + 鼠标 简介Ctrl + F1 显示错误描述或警告信息Alt + Insert 自动生成代码Ct...

原创 Softmax回归

Softmax回归Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签  可以取两个以上的值。 Sof...

转载 Convolutional Neural Networks卷积神经网络（二）

Deep Learning（深度学习）学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体...

转载 对于全连接层的理解 全连接层的推导

全连接层的推导全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。全连接层的前向计算下图中连线最密集的2个地方就是全连接层，这很明显的可以看出全连接层的参数的确很多。在前向计算过程，也就是一个线性的加权求和的过程，全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W，最后加上一个偏置值b得到，即 。如下图中第...

转载 没人说得清深度学习的原理 只是把它当作一个黑箱来使

没人说得清深度学习的原理 只是把它当作一个黑箱来使 人类正在慢慢接近世界的本质——物质只是承载信息模式的载体。人脑之外的器官都只是保障这一使命的给养舰队。自从去年AlphaGo 完虐李世乭，深度学习火了。但似乎没人说得清它的原理，只是把它当作一个黑箱来使。有人说，深度学习就是一个非线性分类器？有人说，深度学习是对人脑的模拟……但我觉得都没有捅透那层窗户纸。当读完 Jeff Hawkins 的《论智...