GoodShot的专栏

追赶,超越

深度学习——预训练

深度网络存在问题:网络越深,需要的训练样本数越多。若用监督则需大量标注样本,不然小规模样本容易造成过拟合(深层网络意味着特征比较多,机器学习里面临多特征:1、多样本 2、规则化 3、特征选择);多层神经网络参数优化是个高阶非凸优化问题,常收敛较差的局部解;梯度扩散问题,BP算法计算出的梯度随着深度...

2018-04-27 00:14:20

阅读数:439

评论数:0

熵、交叉熵、相对熵(KL 散度)意义及其关系

2018-04-22 09:27:09

阅读数:81

评论数:0

向量表示,投影,协方差矩阵,PCA

原文:http://blog.csdn.net/songzitea/article/details/18219237引言当面对的数据被抽象为一组向量,那么有必要研究一些向量的数学性质。而这些数学性质将成为PCA的理论基础。理论描述向量运算即:内积。首先,定义两个维数相同的向量的内积为:内积运算将两...

2018-04-15 20:59:57

阅读数:131

评论数:0

PCA的本质----特征值分解

本章总结:(可 与主成分分析(PCA)-最大方差解释  https://blog.csdn.net/goodshot/article/details/79950977 结合理解)从数学的角度,对矩阵的特征值分解进行介绍,介绍了符合条件的矩阵和进行特征值分解(2),通过分析协方差的意义(3),使得原...

2018-04-15 20:59:24

阅读数:87

评论数:0

主成分分析(PCA)-最大方差解释

我阅读了PCA、SVD和LDA。这几个模型相近,却都有自己的特点。本篇打算先介绍PCA,至于他们之间的关系,只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题     真实的训练数据总是存在各种各样的问题:1、 比如拿到一个汽车的样本,里面既有以“千...

2018-04-15 17:20:35

阅读数:100

评论数:0

终于明白协方差的意义了

协方差其意义:度量各个维度偏离其均值的程度。协方差的值如果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义),结果为负值就说明负相关的,如果为0,也是就是统计上说的“相互独立”。如果正相关,这个计算公式,每个样本对(Xi, Yi), 每个求和项大部分都是正数,即两个同方向偏离各自均...

2018-04-14 16:44:53

阅读数:339

评论数:0

数据的中心化和标准化

简介: 意义:数据中心化和标准化在回归分析中是取消由于量纲不同、自身变异或者数值相差较大所引起的误差。 原理:数据标准化:是指数值减去均值,再除以标准差; 数据中心化:是指变量减去它的均值。 目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。在回归问题和一些机器学习算...

2018-04-13 10:52:35

阅读数:445

评论数:0

CNN笔记:通俗理解卷积神经网络--理解不同输入通道和卷积核通道关系(红色部分)

1 前言2012年我在北京组织过8期machine learning读书会,那时“机器学习”非常火,很多人都对其抱有巨大的热情。当我2013年再次来到北京时,有一个词似乎比“机器学习”更火,那就是“深度学习”。本文内写过一些机器学习相关的文章,但上一篇技术文章“LDA主题模型”还是写于2014年1...

2018-04-07 12:31:28

阅读数:1833

评论数:1

玩转卷积核

转载:CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中探讨日后的CNN变革方向。注:水平所限,下面的见解或许有偏差,望大牛指正。另外只介绍其中具有...

2018-04-06 16:31:25

阅读数:528

评论数:0

AlexNet层级分析(涉及:卷积核操作下下层网络特征图size计算;对通道和卷积核尺寸及通道前层feature map和卷积核的运算关系的解释)

先盗一图,摘自ImageNet Classification with Deep Convolutional Neural Networks(Hinton)注:看到这个结构,可以得到以下结论(以2、3层为例)1、第三层有128*2=256个通道,第二层有48*2=96个通道。每个通道内包含一张前层...

2018-04-06 11:32:19

阅读数:294

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭