2018年12月_aitie1479

转载 L1 正则为什么会使参数偏向稀疏

2018-12-09 22:18:43假设费用函数 L 与某个参数 x 的关系如图所示：则最优的 x 在绿点处，x 非零。现在施加 L2 regularization，新的费用函数（）如图中蓝线所示：最优的 x 在黄点处，x 的绝对值减小了，但依然非零。而如果施加 L1 regularization，则新的费用函数（）如图中粉线所示：最优的 x 就变成了 ...

2018-12-09 22:21:00 215

转载 Inception网络

2018-12-09 19:39:38一、1 * 1卷积pooling可以对feature map的height，width进行修改，但是对通道数目无法修改。1 * 1卷积可以在不改变图像大小的前提下修改通道数目。并且如果使用多个1 * 1卷积可以起到类似FC的功能，因此1 * 1卷积也被称为Network in Network，具体可以见下图。二、Incept...

2018-12-09 21:27:00 111

转载 ResNet

2018-12-09 19:07:29深层的深度学习网络存在梯度消失和梯度爆炸等问题导致难以进行训练。ResNet提出了Skip-Connection来将某一层的输入直接传递到更深的层，通过这种方式可以训练得到更深的神经网络。为什么这个是有效的呢？理论上，更深的模型的训练误差不应当大于浅层模型，但是出现的退化问题，这表明很难去利用多层网络拟合同等函数。但是，残差的表示形式...

2018-12-09 19:37:00 97

转载拒绝采样 Rejection Sampling

2018-12-09 16:40:30一、使用Rand7()来生成Rand10()问题描述：问题求解：这个问题字节跳动算法岗面试有问到类似的，有rand6，求rand8，我想了好久，最后给了一个特殊解法，就进行三次，每次取前三个数和后三个数的概率相等为1 / 2，那么最后需要得到的概率是1 / 8，就可以通过取三次得到。问题就转变成了映射的问题，当然映射的方式是很简单...

2018-12-09 18:21:00 247

转载不光是查找值! "二分搜索"

2018-11-14 18:14:15二分搜索法，是通过不断缩小解的可能存在范围，从而求得问题最优解的方法。在程序设计竞赛中，经常会看到二分搜索法和其他算法相结合的题目。接下来，给大家介绍几种经典的二分搜索法的问题。一、从有序数组中查找某个值1、lowerBound问题描述：给定长度为n的单调不下降数列a和一个数k，求满足ai >= k条件的最小的i。不存在的情...

2018-12-08 15:57:00 167

转载卷积神经网络 CNN

2018-12-07 16:54:28全连接神经网络之所以不太适合图像识别任务，主要有以下几个方面的问题：参数数量太多考虑一个输入1000*1000像素的图片(一百万像素，现在已经不能算大图了)，输入层有1000*1000=100万节点。假设第一个隐藏层有100个节点(这个数量并不多)，那么仅这一层就有(1000*1000+1)*100=1亿参数，这实在是太多了！我们看到图...

2018-12-07 20:27:00 101

转载优化算法

2018-12-07 14:41:57一、SGD 和 BGDBGD：又称Vanilla梯度下降法，用运行整个训练集（一个epoch）来做一次更新。SGD：运行一个或者几个batch（Minibatch Stochastic gradient Descent）时来更新一次更新。BGD：for i in range(nb_epochs): params_gr...

2018-12-07 16:10:00 89

转载评价分类器的好坏

2018-12-06 17:05:27这里以二分类举例，首先引入混淆矩阵的概念：混淆矩阵是一个2×2的方阵，用于展示分类器预测的结果——真正（true positive），假负（false negative）、假正（false positive）及假负（false negative）下面介绍一下各个评价指标：正确率(Accuracy，ACC)：正确率是最容易理...

2018-12-06 21:05:00 412

转载梯度消失 / 梯度爆炸以及Xavier初始化

2018-12-06 16:25:08首先我们先来看一下求解梯度的公式，以下面三层的网络为例：如果w初始化为大于1的数字，在深层神经网络计算梯度的时候就会出现梯度爆炸的现象；如果w初始化为小于1的数字，在深层神经网络计算梯度的时候就会出现梯度消失的现象；那么该如何初始化权重值呢?z = w1 * x1 + w2 * x2 + ... + wn * xn...

2018-12-06 16:41:00 236

转载 Dropout

2018-12-06 15:01:54Dropout：临时的抹去随机的神经元及其进行的关联计算。如下图所示 :Dropout的实现：Inverted Dropout训练：假设每个神经元以keep_prop的概率被保留A0 = XA1 = np.dot(W1, A0) + b1 A1 = relu(A1)D1 = np.random.rand(A1.s...

2018-12-06 15:50:00 73

转载常见的目标检测算法介绍

2018-12-05 21:12:15一、滑动窗口目标检测首先通过卷积神经网络训练一个分类器，然后使用不同尺度的窗口去裁剪输入图片进行分类。我们期望的结果是通过不同的窗口可以将需要检测的物体完全覆盖到，此时分类器输出的置信值会大于阈值，这个时候我们就认为已经成功检测到一个物体，并且得到了其位置信息。滑动窗口算法的缺点是很明显的就是计算量非常大，如果采用粗粒度的框进行框选，虽然...

2018-12-05 22:48:00 844

转载深度学习图片卷积输出大小计算公式

2018-12-05 22:09:03先定义几个参数输入图片大小 W×WFilter大小 F×F步长 Spadding的像素数 P于是我们可以得出：N = (W − F + 2P) / S + 1输出图片大小为 N×N。转载于:https://www.cnblogs.com/hyserendipity/p/10073793.htm...

2018-12-05 22:10:00 119

转载批标准化 Batch Normalization

2018-12-05 20:28:15在机器学习领域有一个很重要的假设，即独立同分布假设，也就是说训练集和测试集是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。而BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布。为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？有很多研究人员都致力于研究这个...

2018-12-05 20:40:00 105

转载 Tqdm 进度条可视化模块

2018-12-04 14:34:25使用python Tqdm进度条库让你的python进度可视化Tqdm在阿拉伯语表示进步，在西班牙语中表示我非常爱你。是一个快速，可扩展的Python进度条，可以在Python长循环中添加一个进度提示信息，用户只需要封装任意的迭代器tqdm(iterator)即可完成进度条。相比ProgressBar来说Tqdm的开销非常低，同时Tqdm可以...

2018-12-04 14:55:00 127

转载 Pytorch Visdom可视化工具

2018-12-04 14:05:49Visdom是Facebook专门为PyTorch开发的一款可视化工具，其开源于2017年3月。Visdom十分轻量级，但却支持非常丰富的功能，能胜任大多数的科学运算可视化任务。其可视化界面如图所示。Visdom可以创造、组织和共享多种数据的可视化，包括数值、图像、文本，甚至是视频，其支持PyTorch、Torch及Numpy。用户可通过...

2018-12-04 14:29:00 281

转载 Python 装饰器

2018-12-04 10:20:29装饰器(Decorators)是 Python 的一个重要部分。简单地说：他们是修改其他函数的功能的函数。他们有助于让我们的代码更简短，也更Pythonic（Python范儿）。大多数初学者不知道在哪儿使用它们，所以我将要分享下，哪些区域里装饰器可以让你的代码更简洁。首先，让我们讨论下如何写你自己的装饰器。简单的来说，装饰器让你在一个函数的...

2018-12-04 11:18:00 90

转载最多的划分来使数组有序 Max Chunks To Make Sorted

2018-12-01 11:05:46一、Max Chunks To Make Sorted问题描述：问题求解：由于没有重复，所以直观的来看对于每个遇到数，其能够被划分出来的前提是其前面已经有相应的数字，具体可以看下面的图片。 public int maxChunksToSorted(int[] arr) { if (arr == ...

2018-12-01 18:57:00 114

aitie1479的博客