Lison_Zhu's Blog

原创 CNN中池化的作用？为什么要选择池化

池化也就是pooling，池化层在卷积层之后。在对输入图像进行卷积之后，得到feature map，也就是特征图。池化操作是对feature map进行操作，又分为平均池化和最大池化。平均池化：倾向于保留突出背景特征最大池化：倾向于保留突出纹理特征卷积的作用就是为了提取某些指定的特征，而池化就是为了进一步抽取更高阶的特征。通过池化操作忽略一些细节信息，强行让CNN学到的更多我们想...

转载 图像操作为什么要使用卷积?卷积的真正含义

CNN 又叫 Convolutional neural network, 中文名有叫卷积神经网络，它怎么来的，它有多牛逼，这就不多说了，大家网上查。希望大家在看之前有一点点基本的computer vision 和CNN 的基本知识。我们第一部分先讲 Convolution，到底什么是卷积，别忙，大家都用过某美颜软件吧，比如我老婆新垣结衣：美的不要的不要的...

原创 什么是深度学习中的baseline

baseline一词应该指的是对照组，基准线，就是你这个实验有提升，那么你的提升是对比于什么的提升，被对比的就是baseline。比如你要研究一个新的模型，你是在前人的模型基础上新增加了一些组件，别人也基本都是在这个模型上进行修改，那这个模型就叫做baseline model——基准模型。听名字就能听出来，就是你自己模型的一个基准，一个基本的框架，模型再复杂，最根本的框架是差不多的。...

原创 surrogate function

surrogate function，即代理函数或者替代函数。一般是指当目标函数非凸、不连续时，数学性质不好，优化起来比较复杂，这时候需要使用其他的性能较好的函数进行替换。...

转载 为什么要进行衰减

学习率衰减（learning rate decay）在训练神经网络时，使用学习率控制参数的更新速度。学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊。为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减。常见衰减：tf.train.piecewise_constant　分段常数衰减tf.train.inverse_t...

原创 什么是移动平均

转载 深度学习中的隐藏层是干什么的？

隐藏层的意义要说明隐藏层的意义，需要从两个方面理解，一个是单个隐藏层的意义，一个是多层隐藏层的意义。单个隐藏层的意义隐藏层的意义就是把输入数据的特征，抽象到另一个维度空间，来展现其更抽象化的特征，这些特征能更好的进行线性划分。举个栗子，MNIST分类。输出图片经过隐藏层加工, 变成另一种特征代表 (3个神经元输出3个特征), 将这3个特征可视化出来。就有了下面这张图, 我们发现中...

转载 BN(批量归一化)

一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多都会引用这个算法，进行网络训练，可见其强大之处非同一般啊。近年来深度学习捷报...

转载 LSTM以及三重门，遗忘门，输入门，输出门

文章简介：LSTM 思路 LSTM 的前向计算 LSTM 的反向传播LSTM长短时记忆网络(Long Short Term Memory Network, LSTM)，是一种改进之后的循环神经网络，可以解决RNN无法处理长距离的依赖的问题，目前比较流行。长短时记忆网络的思路：原始 RNN 的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。再增加一个状态，即c，让它来保存...

转载 如何理解交叉熵

信息论交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。1 信息量首先是信息量。假设我们听到了两件事，分别如下：事件A：巴西队进入了2018世界杯决赛圈。事件B：中国队进入了2018世界杯决赛圈。仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的...

转载 MINIST数据集 28*28

MNIST数据集是一个手写体数据集，简单说就是一堆这样东西MNIST的官网地址是MNIST; 通过阅读官网我们可以知道，这个数据集由四部分组成，分别是;也就是一个训练图片集，一个训练标签集，一个测试图片集，一个测试标签集；我们可以看出这个其实并不是普通的文本文件或是图片文件，而是一个压缩文件，下载并解压出来，我们看到的是二进制文件，其中训练图片集的内容部分如此这些二进制...

原创 理解tensor----张量

刚接触深度学习，碰到tensor，也就是张量这个名词，有些疑惑。其实张量就是各种量的标准。当某些数据无法用0维张量表示，就会引入1维张量，以此类推举例：0维张量：0，1，2，3，100，像这样单个的数字就是0维张量 1维张量：它只是单列或者单行的一组数字。例如数组a[ ,1] 2维张量：矩阵，有行有列 ...

转载 SppNet详述 附代码

SPPNET原博：http://www.mamicode.com/info-detail-2222982.html一、为什么需要SPP首先需要知道为什么会需要SPP。我们都知道卷积神经网络(CNN)由卷积层和全连接层组成，其中卷积层对于输入数据的大小并没有要求，唯一对数据大小有要求的则是第一个全连接层，因此基本上所有的CNN都要求输入数据固定大小，例如著名的VGG模型则要求输入数据...

转载 为什么叫做反向传播

反向传播（Back Propagation）原：https://www.cnblogs.com/MrPan/p/9502869.html通常在设计好一个神经网络后，参数的数量可能会达到百万级别。而我们利用梯度下降去跟新参数的过程如（1）。但是在计算百万级别的参数时，需要一种有效计算梯度的方法，这种方法就是反向传播（简称BP）， 因此BP并不是一种新的算法，使用BP就是能够使计算梯度...

转载 Pyhthon中的Pickle模块

在机器学习中，我们常常需要把训练好的模型存储起来，这样在进行决策时直接将模型读出，而不需要重新训练模型，这样就大大节约了时间。Python提供的pickle模块就很好地解决了这个问题，它可以序列化对象并保存到磁盘中，并在需要的时候读取出来，任何对象都可以执行序列化操作。Pickle模块中最常用的函数为：（1）pickle.dump(obj, file, [,protocol])...

转载 深度学习免费数据集

金融美国劳工部统计局官方发布数据 上证A股日线数据，1999.12.09 至 2016.06.08，前复权，1095支股票 深证A股日线数据，1999.12.09 至 2016.06.08，前复权，1766支股票 深证创业板日线数据，1999.12.09 至 2016.06.08，前复权，510支股票 MT4平台外汇交易历史数据 Forex平台外汇交易历史数据 几组外汇交易逐笔（T...

转载 Alex各层卷积计算详解

原po：https://blog.csdn.net/Gilgame/article/details/85056344

转载 计算机视觉中的top-1和top-5

【ImageNet】ImageNet 项目是一个用于物体对象识别检索大型视觉数据库。截止2016年，ImageNet 已经对超过一千万个图像进行手动注释，标记图像的类别。在至少一百万张图像中还提供了边界框。自2010年以来，ImageNet 举办一年一度的软件竞赛，叫做（ImageNet Large Scale Visual Recognition Challenge,ILSVRC)。主要...

转载 卷积核和padding的计算关系

原博：https://blog.csdn.net/qq_41670192/article/details/79231732通过卷积层与池化层后，特征图的大小怎么计算这里引入cs231n中的课件说明一下：卷积层：参数：W：宽 H：高 D：深度 K：卷积核的个数 F：卷积核的大小 S：步长 P：用0填充W/H=[(输入大小-卷积核大小+2*P）/步长] +1. 举...

转载 深度学习中的优化函数

原博：https://www.cnblogs.com/adong7639/p/9850379.html“说到优化算法，入门级必从 SGD 学起，老司机则会告诉你更好的还有AdaGrad / AdaDelta，或者直接无脑用 Adam。可是看看学术界的最新 paper，却发现一众大神还在用着入门级的 SGD，最多加个 Momentum 或者Nesterov，还经常会黑一下 Adam。这是为什...

转载 深度学习中的激活函数

本文从激活函数的背景知识开始介绍，重点讲解了不同类型的非线性激活函数：Sigmoid、Tanh、ReLU、LReLU、PReLU、Swish，并详细介绍了这些函数的优缺点。原博：http://www.360doc.com/content/17/1102/21/1489589_700400500.shtml1. 什么是激活函数？生物神经网络启发了人工神经网络的发展。但是，...

转载 深度学习新王者AutoML和NAS

一文看懂深度学习新王者「AutoML」：是什么、怎么用？原文：https://zhuanlan.zhihu.com/p/42924585原作：George Seif夏乙 安妮 编译整理量子位 出品 | 公众号 QbitAIAutoML和神经架构搜索（NAS），是深度学习领域的新一代王者。这些方法能快糙猛地搞定机器学习任务，简单有效，高度符合当代科技公司核心价值观。它们...

转载 什么是卷积

相信很多时候，当我们在看到“卷积”时，总是处于一脸懵逼的状态，不但因为它的本义概念比较难理解，还因为它在不同的应用中发挥出的变幻莫测的作用也时常让人迷糊。但这些应用其实本质上都是同一种东西，理解了卷积的来源，就可以举一反三。其实我个人对于卷积的理解，很长时间都处于似懂非懂的状态，就像傅里叶变换的一些trickypoints，只求在应用中不出差错，不求甚解。但是如果想要真正做好learning的东...

转载 Siamese network

名字的由来Siamese和Chinese有点像。Siam是古时候泰国的称呼，中文译作暹罗。Siamese也就是“暹罗”人或“泰国”人。Siamese在英语中是“孪生”、“连体”的意思，这是为什么呢？十九世纪泰国出生了一对连体婴儿，当时的医学技术无法使两人分离出来，于是两人顽强地生活了一生，1829年被英国商人发现，进入马戏团，在全世界各地表演，1839年他们访问美国北卡罗莱那州后来成为“玲...

转载 CV顶会论文

ICCV: http://www.informatik.uni-trier.de/~ley/db/conf/iccv/index.htmlECCV: http://www.informatik.uni-trier.de/~ley/db/conf/eccv/index.htmlCVPR: http://dblp.uni-trier.de/db/conf/cvpr/index.html还可...

转载 计算x的n次幂 算法比较

计算x的n次幂最简单直接的方法就是相乘n次，很容易写出程序：[cpp] view plain copy//计算x^n 直接乘n次 by MoreWindows( http://blog.csdn.net/MoreWindows )  int power1(int x, unsigned int n)  {      int result = 1;      while (n--)         ...

转载 STL(6)之set 和hash_set

set和hash_set是STL中比较重要的容器，有必要对其进行深入了解。在STL中，set是以红黑树（RB-tree）作为底层数据结构的，hash_set是以Hash table（哈希表）作为底层数据结构的。set可以在时间复杂度为O(logN)情况下插入、删除和查找数据。hash_set操作的时间复杂度则比较复杂，这取决于哈希函数和哈希表的负载情况。下面列出set和hash_set的常用函数：...

转载 STL(5)之优先队列(priority_queue)

priority_queue 优先级队列是一个拥有权值概念的单向队列queue，在这个队列中，所有元素是按优先级排列的（也可以认为queue是个按进入队列的先后做为优先级的优先级队列——先进入队列的元素优先权要高于后进入队列的元素）。在计算机操作系统中，优先级队列的使用是相当频繁的，进线程调度都会用到。在STL的具体实现中，priority_queue也是以别的容器作为底部结构，再根据堆的处理规则...

转载 STL(4)之堆(heap)及各种排序效率比较

下面再介绍STL中与堆相关的4个函数——建立堆make_heap()，在堆中添加数据push_heap()，在堆中删除数据pop_heap()和堆排序sort_heap()：头文件 #include <algorithm>下面的_First与_Last为可以随机访问的迭代器（指针），_Comp为比较函数（仿函数），其规则——如果函数的第一个参数小于第二个参数应返回true，否则返回fa...

转载 STL(3)之单项队列(queue)

queue单向队列与栈有点类似，一个是在同一端存取数据（栈），另一个是在一端存入数据，另一端取出数据。单向队列中的数据是先进先出（First In First Out,FIFO）。在STL中，单向队列也是以别的容器作为底部结构，再将接口改变，使之符合单向队列的特性就可以了。因此实现也是非常方便的。下面就给出单向队列的函数列表和VS2008中单向队列的源代码。单向队列一共6个常用函数（front()...

转载 STL(2)之栈(stack)

栈（statck）这种数据结构在计算机中是相当出名的。栈中的数据是先进后出的（First In Last Out, FILO）。栈只有一个出口，允许新增元素（只能在栈顶上增加）、移出元素（只能移出栈顶元素）、取得栈顶元素等操作。在STL中，栈是以别的容器作为底部结构，再将接口改变，使之符合栈的特性就可以了。因此实现非常的方便。下面就给出栈的函数列表和VS2008中栈的源代码，在STL中栈一共就5个...

转载 STL(1)之双向队列(dequeue)

deque双向队列是一种双向开口的连续线性空间，可以高效的在头尾两端插入和删除元素，deque在接口上和vector非常相似，下面列出deque的常用成员函数： deque的实现比较复杂，内部会维护一个map（注意！不是STL中的map容器）即一小块连续的空间，该空间中每个元素都是指针，指向另一段（较大的）区域，这个区域称为缓冲区，缓冲区用来保存deque中的数据。因此deque在随机访问和遍历数...

转载 STL MAP 排序

 原文  http://blog.csdn.net/iicy266/article/details/11906189  map是用来存放<key, value>键值对的数据结构，可以很方便快速的根据key查到相应的value。假如存储学生和其成绩（假定不存在重名，当然可以对重名加以区分），我们用map来进行存储就是个不错的选择。 我们这样定义，map<string, int&gt...

转载 ACM之C++ STL库

 全排列函数next_permutationSTL 中专门用于排列的函数（可以处理存在重复数据集的排列问题）头文件：#include <algorithm>using namespace std;调用： next_permutation(start, end);注意：函数要求输入的是一个升序排列的序列的头指针和尾指针.用法：// 数组int a[N];sort(a, a+N);next...

原创 山东省第六届ACM省赛正题题集

Problem A. Nias and Tug-of-War Description Nias is fond of tug-of-war. One day, he organized a tug-of-war game and invited a group of friends to take part in. Nias will divide them into two groups. Th...

原创 山东省第五届ACM省赛正赛题集

angry_birds_again_and_againTimeLimit: 2000 ms Memory Limit: 65536 KiB SubmitStatisticDiscussProblemDescriptionTheproblems called "Angry Birds" and "Angry Birds Again andAgain" has been solved by many ...

原创 2018年天梯赛全国总决赛题集L1-6 福到了

L1-6 福到了（15 分）“福”字倒着贴，寓意“福到”。不论到底算不算民俗，本题且请你编写程序，把各种汉字倒过来输出。这里要处理的每个汉字是由一个 N × N 的网格组成的，网格中的元素或者为字符 @ 或者为空格。而倒过来的汉字所用的字符由裁判指定。输入格式：输入在第一行中给出倒过来的汉字所用的字符、以及网格的规模 N （不超过100的正整数），其间以 1 个空格分隔；随后 N 行，每行给出 N...

转载 Makefile例子

对于大一点的项目，Makefile都是不可或缺的，这里记录一个自己弄的简单的例子。 有3个file: main.cpp main2.cpp main2.hmain.cpp    --    main函数所在，调用main2.cpp中的一个外部函数test()main2.cpp  --    test函数所在main2.h     --    test的函数声明 看一下三个文件：//main.cpp...

原创 linux gcc 各参数说明

GCC-E 生成预处理文件.hello.c--->hello.i-S 把.c文件编译成汇编.hello.i--->hello.s-C 只编译，生成.o文件，不进行链接.hello.s--->hello.o gcc 文件链接 hello.o--->a.out编译过程gcc编译过程hello.chello.chello.ihello.ihello.shello.sh...

转载 linux基础

linux特点1、免费的、开源的2、支持多线程、多用户的3、安全性好4、对内存和文件管理优越缺点：操作相对困难linux最小只需要4m -> 嵌入式开发我们使用 vm[虚拟机] 虚拟了一个 linuxstartx 进入图形化界面图形界面注销回到命令行linux命令shutdown -h now 立刻进行关机shotdown -r now 重启计算机reboot 重启计算机su - 登陆时尽量...