当前搜索:

熵、交叉熵、相对熵(KL 散度)意义及其关系

阅读(5) 评论(0)

向量表示,投影,协方差矩阵,PCA

原文:http://blog.csdn.net/songzitea/article/details/18219237引言当面对的数据被抽象为一组向量,那么有必要研究一些向量的数学性质。而这些数学性质将成为PCA的理论基础。理论描述向量运算即:内积。首先,定义两个维数相同的向量的内积为:内积运算将两...
阅读(32) 评论(0)

PCA的本质----特征值分解

本章总结:(可 与主成分分析(PCA)-最大方差解释  https://blog.csdn.net/goodshot/article/details/79950977 结合理解)从数学的角度,对矩阵的特征值分解进行介绍,介绍了符合条件的矩阵和进行特征值分解(2),通过分析协方差的意义(3),使得原...
阅读(12) 评论(0)

主成分分析(PCA)-最大方差解释

我阅读了PCA、SVD和LDA。这几个模型相近,却都有自己的特点。本篇打算先介绍PCA,至于他们之间的关系,只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题     真实的训练数据总是存在各种各样的问题:1、 比如拿到一个汽车的样本,里面既有以“千...
阅读(24) 评论(0)

终于明白协方差的意义了

协方差其意义:度量各个维度偏离其均值的程度。协方差的值如果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义),结果为负值就说明负相关的,如果为0,也是就是统计上说的“相互独立”。如果正相关,这个计算公式,每个样本对(Xi, Yi), 每个求和项大部分都是正数,即两个同方向偏离各自均...
阅读(14) 评论(0)

数据的中心化和标准化

简介: 意义:数据中心化和标准化在回归分析中是取消由于量纲不同、自身变异或者数值相差较大所引起的误差。 原理:数据标准化:是指数值减去均值,再除以标准差; 数据中心化:是指变量减去它的均值。 目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。在回归问题和一些机器学习算...
阅读(20) 评论(0)

CNN笔记:通俗理解卷积神经网络--理解不同输入通道和卷积核通道关系(红色部分)

1 前言2012年我在北京组织过8期machine learning读书会,那时“机器学习”非常火,很多人都对其抱有巨大的热情。当我2013年再次来到北京时,有一个词似乎比“机器学习”更火,那就是“深度学习”。本文内写过一些机器学习相关的文章,但上一篇技术文章“LDA主题模型”还是写于2014年1...
阅读(193) 评论(1)

玩转卷积核

转载:CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中探讨日后的CNN变革方向。注:水平所限,下面的见解或许有偏差,望大牛指正。另外只介绍其中具有...
阅读(95) 评论(0)

AlexNet层级分析(涉及:卷积核操作下下层网络特征图size计算;对通道和卷积核尺寸及通道前层feature map和卷积核的运算关系的解释)

先盗一图,摘自ImageNet Classification with Deep Convolutional Neural Networks(Hinton)注:看到这个结构,可以得到以下结论(以2、3层为例)1、第三层有128*2=256个通道,第二层有48*2=96个通道。每个通道内包含一张前层...
阅读(62) 评论(0)

如何理解np.sum tf.reduce_sum( tf.reduce_max tf.reduce_mean)等对tensor和高维矩阵的axis选择的操作

一个不是很简单,但是很好理解的方法是:你的输入矩阵的shape是(2,2,4),那么当axis=0时,就是在第一个dimension上进行求和,最后得到的结果的shape就是去掉第一个dimension后的shape,也就是(2,4)。具体的计算方法则是,对于c[i,j,k],假设输出矩阵为s[j...
阅读(273) 评论(0)

有关l2,1范数作用的理解--正则化项作用,不同于l1范数(矩阵元素绝对值之和)的稀疏要求,l21范数还要求行稀疏

今天和导师讨论问题的时候,说到了l21范数。导数希望我能解释一下,我明白它的作用可是我知道我没有向老师解释清楚,有些失落。今晚就自己总结一下吧,希望下次再有人问我这个问题的时候我能向别人解释清楚。先看上面l21范数的定义,注意原始矩阵是n行t列的,根号下平方是对列求和,也就是说是在同一行中进行操作...
阅读(67) 评论(1)

常见向量范数和矩阵范数

1、向量范数1-范数:,即向量元素绝对值之和,matlab调用函数norm(x, 1) 。2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方,matlab调用函数norm(x, 2)。∞-范数:,即所有向量元素绝对值中的最大值,matlab调用函数nor...
阅读(18) 评论(0)

如何理解张量tensor

1 关于张量的四种定义“张量”在不同的运用场景下有不同的定义。第一个定义,张量是多维数组,这个定义常见于各种人工智能软件。听起来还好理解。--本文仅解释此种2 多维数组从第一个定义:张量是多维数组开始。现在机器学习很火,知名开源框架tensor-flow是这么定义tensor(张量)的:A ten...
阅读(14) 评论(0)

Tensorflow CNN(两层卷积+全连接+softmax)

由于卷积用于分类的方法非常固定,因此直接贴上源码以及链接,有需要的直接稍加修改就可以了。 传送门 简单写一下心得体会 卷积层+pooling层#定义变量,初始化为截断正态分布的变量 def weight_variable(shape): initial = tf.truncated_nor...
阅读(29) 评论(0)

TensorFlow 基本使用

本文结合以下文章理解最好:https://wenku.baidu.com/view/f09546d4dc88d0d233d4b14e852458fb770b38ef.html使用TensorFlow,你必须明白TensorFlow:使用图(graph)来表示任务被称之为会话(Session)的上下...
阅读(55) 评论(0)

tf.nn.conv2d理解(带通道的卷积图片输出案例)

三篇参考:1.https://blog.csdn.net/goodshot/article/details/79655915 TF-卷积函数 tf.nn.conv2d 介绍2.https://blog.csdn.net/goodshot/article/details/79677758  tf.n...
阅读(54) 评论(0)

彻底搞懂CNN

之前通过各种博客视频学习CNN,总是对参数啊原理啊什么的懵懵懂懂。。这次上课终于弄明白了,O(∩_∩)O~上世纪科学家们发现了几个视觉神经特点,视神经具有局部感受野,一整张图的识别由多个局部识别点构成;不同神经元对不同形状有识别能力,且视神经具有叠加能力,高层复杂的图案可以由低层简单线条组成。之后...
阅读(30) 评论(0)

TF-卷积函数 tf.nn.conv2d 介绍

tf.nn.conv2d是TensorFlow里面实现卷积的函数,参考文档对它的介绍并不是很详细,实际上这是搭建卷积神经网络比较核心的一个方法,非常重要tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name...
阅读(25) 评论(0)

1. 根据输出的数据,对各个阶维度的反推+2.tf中生成根据指定的shape,tensor的各个阶的维度判断

方法:从最内部的不能分解元素观看,确定包括在最里面[]的个数,作为最后的一级的阶的维度,再以该[]为级别,数出同级的包括在另外一个[]之内的作为倒数第二阶的维度,依此类推,直到最后一级最为外层的[]结束。input=tf.random_normal([2, 3, 3, 5]) sess=tf.S...
阅读(88) 评论(0)

【TensorFlow】tf.nn.conv2d是怎样实现卷积的?

三篇参考:1.https://blog.csdn.net/goodshot/article/details/79655915 TF-卷积函数 tf.nn.conv2d 介绍2.https://blog.csdn.net/goodshot/article/details/79677758  tf.n...
阅读(24) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 270万+
    积分: 2万+
    排名: 254
    站长统计
    最新评论