DL基础
datawhale 动手学深度学习
一只小团子
这个作者很懒,什么都没留下…
展开
-
task10GAN
GAN的核心思想,训练生成器,当生成器生成的数据让判别器无法辨别时就是一个号的生成器。 生成模型:建模x的分布p(x) 对于生成器,开始绘制一些随机分布的参数z∈Rd\mathbf z\in\mathbb R^dz∈Rd , 如正态分布 z∼N(0,1)\mathbf z \sim \mathcal{N} (0, 1)z∼N(0,1).我们把 z\mathbf zz 成为潜在变量. 然后使用一...原创 2020-02-25 17:42:21 · 144 阅读 · 0 评论 -
task09
在本节中,我们将解决Kaggle竞赛中的犬种识别挑战,比赛的网址是https://www.kaggle.com/c/dog-breed-identification 在这项比赛中,我们尝试确定120种不同的狗。该比赛中使用的数据集实际上是著名的ImageNet数据集的子集。 # 在本节notebook中,使用后续设置的参数在完整训练集上训练模型,大致需要40-50分钟 # 请大家合理安排GPU...原创 2020-02-25 17:25:00 · 115 阅读 · 0 评论 -
task06
批量归一化(BatchNormalization) 对输入的标准化(浅层模型) 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化(深度模型) 利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。 1.对全连接层做批量归一化 位置:全连接层中的仿射变换和激活函数之间。 全连接: x=...原创 2020-02-25 17:17:25 · 102 阅读 · 0 评论 -
task05
LeNet: 在大的真实数据集上的表现并不尽如⼈意。 1.神经网络计算复杂。 2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。 机器学习的特征提取:手工定义的特征提取函数 神经网络的特征提取:通过学习得到数据的多级表征,并逐级表⽰越来越抽象的概念或模式。 神经网络发展的限制:数据、硬件 AlexNet 首次证明了学习到的特征可以超越⼿⼯设计的特征,从而⼀举打破计算机视觉研究的前状。 特...原创 2020-02-19 21:37:26 · 109 阅读 · 0 评论 -
Task04
Beam Search 简单greedy search: 维特比算法:选择整体分数最高的句子(搜索空间太大) 集束搜索: 注意力机制 在“编码器—解码器(seq2seq)”⼀节⾥,解码器在各个时间步依赖相同的背景变量(context vector)来获取输⼊序列信息。当编码器为循环神经⽹络时,背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码,然后将其传递给解码器以生成目标...原创 2020-02-19 21:30:28 · 146 阅读 · 0 评论 -
task03过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶
离散值预测问题, 介绍神经网络中的分类模型 分类的基本问题 一般连续值到离散值的转化通常会影响到分类质量。 因此,我们一般使用更适合离散值输出的模型来解决分类问题。 一、softmax回归模型 与线性回归的主要不同在于:softmax回归的输出值个数等于标签里的类别数。 在这里类似于线性回归中的房屋预测问题,给出猫狗分类问题进行分析。 假设输入一共有四种特征,和三种输出动物类别(猫-1,狗-2,鸡...原创 2020-02-19 20:45:42 · 114 阅读 · 0 评论 -
task2
语言模型 一段自然语言文本可以看作是一个离散时间序列,给定一个长度为TTT的词的序列w1,w2,…,wTw_1, w_2, \ldots, w_Tw1,w2,…,wT,语言模型的目标就是评估该序列是否合理,即计算该序列的概率: P(w1,w2,…,wT). P(w_1, w_2, \ldots, w_T). P(w1,w2,…,wT). 一段含有4个词的文本序列的概率 P(w1,w2,...原创 2020-02-14 20:40:10 · 80 阅读 · 0 评论 -
task1
一、线型回归模型讲解 1、什么是线型模型 表示数据可以用线型关系来描述。公式化的情况下为y=wx+b。建模的过程,就是求取w,b的过程。 但由于真实数据存在偏差,无法获得无偏估计,只能寻找一个偏差最小的模型。 2、线型模型的求解 基本概念: 数据集=训练集+测试集=样本+标签 样本用特征表示(房子与房价相关的特征有面积,新旧等) 模型希望能建立这些特征和房价之间的关系,使得预测值和真实值之间的误差...原创 2020-02-13 19:26:53 · 233 阅读 · 0 评论