lx_xin的博客

AlexNet：《ImageNet Classification with Deep Convolutional Neural Networks》 https://blog.csdn.net/qianqing13579/article/details/71381016?locationNum=15&fps=1

reference：https://www.cnblogs.com/chaosimple/p/3172039.html最近在做聚类的时候用到了主成分分析PCA技术，里面涉及一些关于矩阵特征值和特征向量的内容，在网上找到一篇对特征向量及其物理意义说明较好的文章，整理下来，分享一下。 ...

reference:https://www.cnblogs.com/nsnow/p/4758202.htmlA geometric interpretation of the covariance matrixhttp://www.visiondummy.com/2014/04/geometric...

reference: (good article :)) ) http://blog.codinglabs.org/articles/pca-tutorial.htmlPCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始...

SPPNet： SPP-Net论文详解 - CSDN博客 https://blog.csdn.net/v1_vivian/article/details/73275259基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN - Madcola - 博客园 https://www.cnblogs.com/skyfsm/p/6806246.html...

图像分类AlexNet（2012）是深度学习在计算机视觉领域的影响力较大的论文，获得了2012年ImageNet冠军。深度为7层，基本结构如下图。准确率达到57.1%，top 1-5 达到80.2%。使用ReLU，计算简便，缓解Sigmoid中梯度消失的问题。但当学习率较大时易出现dead神经元（落入负半区则永远无法激活），因此学习率设置不能过大。或者可以使用Leaky ReLU替代。...

参考资料： 卷积神经网络物体检测之感受野大小计算 - machineLearning - 博客园 https://www.cnblogs.com/objectDetect/p/5947169.html CNN 感受野计算公式 - 简书 https://www.jianshu.com/p/e875117e5372将输入图片记为第0层，其后的卷积层和池化层对RF（receptive fie...

参考资料：如何理解深度学习中的deconvolution networks

浅谈什么是张量tensor也许你已经下载了TensorFlow，而且准备开始着手研究深度学习。但是你会疑惑：TensorFlow里面的Tensor，也就是“张量”，到底是个什么鬼？也许你查阅了维基百科，而且现在变得更加困惑。也许你在NASA教程中看到它，仍然不知道它在说些什么？问题在于大多数讲述张量的指南，都假设你已经掌握他们描述数学的所有术语。别担心！我像小孩子一样讨厌数学，所以如果我能明白，...

开始学习GAN生成对抗网络相关知识，将要点和心得总结于此。

一、特征值和特征向量的几何意义特征值和特征向量确实有很明确的几何意义，矩阵（既然讨论特征向量的问题，当然是方阵，这里不讨论广义特征向量的概念，就是一般的特征向量）乘以一个向量的结果仍是同维数的一个向量。因此，矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量。那么变换的效果是什么呢？这当...

协方差的定义 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每个样本可能...

一、相关理论    白化这个词，可能在深度学习领域比较常遇到，挺起来就是高大上的名词，然而其实白化是一个比PCA稍微高级一点的算法而已，所以如果熟悉PCA，那么其实会发现这是一个非常简单的算法。    白化的目的是去除输入数据的冗余信息。假设训...

参考资料： 机器学习中正则化项L1和L2的直观理解 - CSDN博客 https://blog.csdn.net/jinping_shi/article/details/52433975 【一看就懂】机器学习之L1和L2正则化 https://baijiahao.baidu.com/s?id=1595711904189222402&wfr=spider&for=pc 正则...

batch size：批尺寸，在训练中，一般采用SGD训练，即每次训练取batch size个样本训练； iteration：迭代次数，每次迭代使用batchsize个样本训练一次，并更新一次权值； epoch：1个epoch等于使用训练集中的全部样本训练一次；例如，训练集中有1000个样本，设置batch size=10，那么训练完整个样本集需要100次iteration，1次epoch...

参考资料： FCN用卷积层代替FC层原因（转） - byteH - 博客园 https://www.cnblogs.com/byteHuang/p/6959714.html 深度学习—之全卷积神经网络取代全连接层–用于图像分割 - CSDN博客 https://blog.csdn.net/zxyhhjs2017/article/details/78603332占坑，待填...

深入理解卷积层，全连接层的作用意义 - CSDN博客 https://blog.csdn.net/m0_37407756/article/details/80904580

Maxout： Maxout Network原理及其TensorFlow实现搜狐科技搜狐网 https://www.sohu.com/a/146005028_723464

一、前言　　关于神经网络的作用有一个解释：它是一个万能函数逼近器。通过BP算法调整权重，在理论上神经网络可以近似出任意的函数。 　　当然，要近似出来的函数的复杂度肯定不能超过神经网络的表达能力，不然就会产生欠拟合的现象。而一个网络能承载的函数复杂度通常与隐层节点个数和深度有关。&...

　　今年过年之前，MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平，下面将分两期介绍两者的算法细节。　　这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Redu...

前置阅读：http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现前置阅读：http://www.zhihu.com/question/38102762——知乎网友Deep Learning与Baye...

BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下： 我们可以把这个流程图以门电路的形式展开，方便进行前向传播和后向传播： 那么前向传播非常简单，直接给出代码：def batchnorm_forward(x, gamma, beta,...

【编者按】深度学习领域的三位大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton无人不知无人不晓。此前，为纪念人工智能提出60周年，Yann LeCun、Yoshua Bengio和Geoffrey Hinton首次合作了这篇综述文章“Deep Learning”。该综述文章中文译文的上半部分，深入浅出地介绍了深度学习的基本原理和核心优势。原文摘要：深度学习可以让那...