- 博客(29)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 阿里春招之旅（二）
这是一位同学阿里的一面，也是投的算法实习岗，不过问的题目与我很不同，拿来学习一下。算法题：输入一个数列，有N个整数，可以将任意区间内的所有整数相加，求相加之和的最大值。这是一道简单的动态规划的题，设状态变量dp[i]表示加至下标i处，最大累和值。可知递推方程是dp[i]=max{dp[i-1]+arr[i],arr[i]}。arr为数列，可以知道如果加上当前arr[i]都没有arr[i...
2020-02-28 23:24:31
176
原创 阿里春招之旅（一）
这是我今年的第一次面试，阿里前辈很谦和，交流过程中我从开始的紧张慢慢地舒缓，也在尽力地表现自己对问题的看法与理解。不过还是有好多知识点很不清晰，希望通过总结能够查缺补漏。算法题：输入M、N及M*N的01举证，1表示岛屿，0表示海洋，如果两个1相邻，则为同一个岛屿，考虑上下左右为相邻。请问总共有多少个岛屿？这其实是一道考深度或者广度搜索的题。下面是我整理后的代码，时间复杂度和空间复杂度...
2020-02-28 11:40:29
326
翻译 动手学深度学习之DCGAN
DCGAN是把全卷积神经网络引入到了GAN。DCGAN做了如下改进：取消pooling层。G中用反卷积进行上采样，D中用加入stride的卷积代替poolingbatch normalization去掉FC层，网络为全卷积网络G中使用Relu(最后一层用tanh)D中用LeakyRelu可以参考这篇文章DCGAN论文及代码学习...
2020-02-25 10:56:35
252
翻译 动手学深度学习之生成对抗网络
生成对抗网络（Generative Adversarial Networks,GANs）是一种把博弈理论结合神经网络用于生成新事物的模型。目前最常用于图像生成。直观感受原理GAN的原理是如下图所示：假设有两个网络，G（Generator）和D（Discriminator）·G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G（z）。·D是一个判别网络，判别一张...
2020-02-25 10:45:47
330
翻译 动手学深度学习之分类案例2
本节使用预训练好的ResNet-34模型来完成Kaggle竞赛中的犬种识别挑战，这里会用到模型微调的技巧，复用预训练的模型是大型比赛常常会用到的方法。实验内容整理数据集图像增强读取数据定义模型定义训练函数调参在完整数据及上训练模型对测试集分类并提交结果...
2020-02-25 09:24:02
324
翻译 动手学深度学习之图像分类案例1
本节介绍使用ResNet-18网络结构来做cifar-10数据集的分类。获取和组织数据集图像增强导入数据集定义模型训练与测试
2020-02-25 09:17:00
377
1
翻译 动手学深度学习之图像风格迁移
图像风格迁移是个有趣的应用，可以改变一副图像的样式，虽然照片内容没变，但却变成了另一种风格。样式迁移如果你是一位摄影爱好者，也许接触过滤镜。它能改变照片的颜色样式，从而使风景照更加锐利或者令人像更加美白。但一个滤镜通常只能改变照片的某个方面。如果要照片达到理想中的样式，经常需要尝试大量不同的组合，其复杂程度不亚于模型调参。在本节中，我们将介绍如何使用卷积神经网络自动将某图像中的样式应用在...
2020-02-25 09:04:36
1283
2
翻译 动手学深度学习之目标检测基础
目标检测是CV的四大基本任务之一，也是现在CV最热门的技术，与技术落地息息相关。目标检测相比于分类与分割，它的损失函数要更难理解一点。目标检测与边界框目标检测应用的场景通常是一副图像里有很多要关注的目标，比如下图有猫和狗两个目标，我们要分别把它们的位置和大小框出来，这用到的框便叫边界框。目标检测是解决"在哪里有什么"的任务。锚框锚框（Anchor）是目标检测算法最为核心的概念，它们与...
2020-02-25 08:32:48
255
翻译 动手学深度学习之梯度下降
梯度下降算法是神经网络反向传播用到的优化算法，可以说是最重要的内容，这一节会介绍梯度下降算法以及如何改进传统的梯度下降算法。梯度下降一维梯度下降沿梯度反方向移动自变量可以减小函数值；x←x−ηf′(x)x \leftarrow x-\eta f^{\prime}(x)x←x−ηf′(x)学习率η\etaη会控制步幅；局部最小值会出现在不是凸函数的损失函数优化过程中。多维梯度...
2020-02-25 07:36:15
162
翻译 动手学深度学习之凸优化
凸优化理论是学习线性回归的时候就会用到的数学知识，利用凸优化的理论，可以求出最佳的参数值（解析解）使得损失函数最小，也可以证明梯度下降优化算法是有效地。优化与DL优化与估计尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标：训练集损失函数值深度学习目标：测试集损失函数值（泛化性）优化在DL中遇到的问题局部最小值鞍点...
2020-02-24 22:13:20
1124
翻译 动手学深度学习之批量归一化和残差网
归一化一般是用来消除不同特征之间量纲差异的技巧，在传统ML中，把数据丢入某个模型前都会进行这样的操作，不过经常是整个数据集，DL中批量归一化倒是有点不同；残差网，2015年ImageNet竞赛的冠军模型，用跳跃连接的技巧很好地解决了超深网络中梯度消失的问题。批量归一化目标利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。如何归一化...
2020-02-24 19:56:28
407
原创 D2L第二次打卡
过拟合欠拟合梯度爆炸与消失ModernRNN机器翻译注意力机制Transformer卷积神经网络基础LeNetModernCNN
2020-02-19 19:45:03
168
翻译 动手学深度学习之Transformer
据说加了注意力机制的Transformer模型依然是NLP领域最强劲的模型。Transformer模型是为了解决了之前RNN模型训练速度慢的缺陷才被提出来的，以后有需要再来学习。...
2020-02-19 19:36:47
633
翻译 动手学深度学习之注意力机制与Seq2Seq模型
AAAI2020会议上，注意力机制依然还是焦点之一。注意力机制虽然最开始出现在NLP领域，但现在很多领域都在使用它。注意力机制在Seq2Seq模型中的应用，这节课讲得实在不咋地，以后有需要再来学习吧。...
2020-02-19 19:33:36
219
翻译 动手学深度学习之ModernCNN
本节介绍几个经典的CNN，包括AlexNet/VGGNet/NiN/GoogLeNet。AlexNet首次证明了学习到的特征可以超越人工设计的特征，从而一举打破计算机视觉研究的现状。特征：8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。将sigmoid激活函数改成了更加简单的ReLU激活函数。用Dropout来控制全连接层的模型复杂度。引入数据增强，如翻转、裁...
2020-02-19 18:22:45
239
翻译 动手学深度学习之LeNet
LeNet是早期用来解决手写数字识别的神经网络，由卷积层与全连接层组成，其中卷积层由卷积后加池化这样的搭配作为基本单元。LeNetLeNet中输入是(1,28,28)的灰度图像，卷积层输出采用sigmoid激活函数，池化层采用的是平均池化。代码实现import syssys.path.append("/home/kesci/input")import d2lzh1981 as d...
2020-02-19 17:51:01
163
翻译 动手学深度学习之卷积神经网络基础
卷积神经网络是带卷积层的神经网络，非常适合CV领域。在2012年，AlexNet在ImageNet竞赛中一炮打响，也因此开启了DL时代。二维卷积层二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组...
2020-02-19 17:20:23
140
翻译 动手学深度学习之机器翻译
机器翻译主要用到的是seq2seq模型，这种模型通常由encoder-decoder组成，能够实现many-to-many的映射，符合翻译任务中输入与输出句子长度不同的情况。encoder-decoderseq2seq训练很明显，可以将编码器与解码器中的那些单元置换为RNN/GRU/LSTM单元，编码器提取待翻译句子的特征，通过隐藏状态送入解码器，解码器每个单元的输入与隐藏状态进行...
2020-02-18 17:00:59
440
翻译 动手学深度学习之梯度爆炸和消失
DL相比于过去的人工神经网络，特点在于深，但深层的神经网络往往会遭遇数值稳定性问题，如某参数值为0.2或5，30层后变成0.2300.2^{30}0.230或5305^{30}530。一个非常小，接近于0，这就是梯度消失；一个非常大，超过计算机能表示的范围，这就是梯度爆炸。梯度爆炸、消失以MLP为例，计算第lll层输出：H(l)=XW(1)W(2)…W(l)\boldsymbol{H}...
2020-02-17 19:26:30
218
翻译 动手学深度学习之过拟合与欠拟合
曾听人说过，DL强大之处在于它的拟合能力，只要你能给出的曲线，其方程都能用一套神经网络表示。不过，这套神经网络需要足够的数据以供训练，这里就引出了过拟合和欠拟合的概念。当神经网络很庞大，数据却不多，神经网络能够记住每个数据的特征，这会导致过拟合。反之，当神经网络规模较小或拟合能力还很弱，数据却很多时，就会出现欠拟合问题。过拟合、欠拟合训练误差和泛化误差训练误差指模型在训练数据集上表现出...
2020-02-17 17:39:45
1397
翻译 动手学深度学习之多层感知机
多层感知机(MLP)是早期就出现的神经网络，拥有一层隐藏层，但由于没有激活函数，即使2层也只是做线性映射，功效与单层输出的神经网络差不多，本节将介绍MLP的基本概念以及如何解决MLP存在的缺陷。MLP隐藏层形式化如下：H=XWh+BhO=HWo+Bo=XWhWo+BhWo+BoH=XW_h+B_h \\O=HW_o+B_o=XW_hW_o+B_hW_o+B_oH=XWh+B...
2020-02-14 20:33:44
376
翻译 动手学深度学习之Softmax与分类模型
分类是机器学习经典问题之一，本节将讲解如何用神经网络来进行多类分类，会用到的模型是softmax，损失函数是交叉熵损失函数。softmax模型softmaxsoftmax回归同线性回归一样，也是一个单层神经网络。由于每个输出的计算都要依赖于所有的输入，softmax回归的输出层也是一个全连接层。如果不进行任何处理，以这样的神经网络来分类，输出会出现两大问题： 输出层的输出值的...
2020-02-14 18:51:46
370
翻译 动手学深度学习之线性回归
线性回归是采用线性模型解决回归问题的一种模型，本节讲解线性回归的理论基础以及采用SGD算法优化求取参数的过程。线性回归线性回归模型y=wTx+by=w^Tx+by=wTx+b损失函数平方差损失函数：l(i)=12(y^(i)−y(i))2L(w,b)=12n∑i=1n(wTx(i)+b−y(i))l^{(i)}=\frac{1}{2}{(\hat{y}^{(i)}-y^{(...
2020-02-14 18:00:43
362
翻译 动手学深度学习之循环神经网络
循环神经网络（RNN）是语言模型的一种深度学习解决方案，本节将介绍RNN的基本理论以及它的代码实现。RNNRNN要解决的问题是这样子的：给定当前输入与过去的输入序列，预测序列的下一个字符是什么？循环神经网络引入一个隐藏变量HHH，用HtH_tHt表示在时间步ttt的值。HtH_tHt的计算基于XtX_tXt和Ht−1H_{t-1}Ht−1，可以认为Ht−1H_{t-1}Ht−1记...
2020-02-14 16:49:51
252
翻译 动手学深度学习之语言模型与数据集
语言模型可以用来评估文本序列是否合理，即计算该序列的概率：P(w1,w2,...,wT)P(w_1,w_2,...,w_T)P(w1,w2,...,wT)。其中基于统计的语言模型（马尔科夫链模型）被广泛应用于自然语言处理中。本文将简单介绍下马尔科夫链的理论以及输入数据集的形式。语言模型语言模型假设存在序列(w1,w2,...,wT)(w_1,w_2,...,w_T)(w1,w2...
2020-02-14 14:39:35
282
翻译 动手学深度学习之文本预处理
文本数据是一类序列数据，通常是字符或单词的序列，在喂给语言模型训练前，要进行统计词频、分词、建立词与数的映射等预处理操作，这将方便后续操作的处理。读入文本import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt...
2020-02-14 11:19:26
249
mysql-boost-5.7.19.tar
2020-07-05
Thompson转换正规式为NFA.zip
2019-11-02
Java在线考试系统毕业设计说明书
2018-03-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人