- 博客(27)
- 收藏
- 关注
RSS订阅原创 Datawhale 零基础入门数据挖掘-Task5 模型融合
五、模型融合Tip:此部分为零基础入门数据挖掘的 Task5 模型融合 部分，带你来了解各种模型结果的融合方式，在比赛的攻坚时刻冲刺Top，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 二手车交易价格预测5.1 模型融合目标对于多种调参完成的模型进行模型融合。完成对于多种模型的融合，提交融合结果并打卡。5.2 内容介绍模型融合是比赛后期一个重要的环节，大体来说有如下的类型...
2020-04-05 11:57:46
264
1
转载 Datawhale 零基础入门数据挖掘-Task4参数调节
Import lightgbm as lgb：Import xgboost as xgb：lightGBM简介xgboost的出现，让数据民工们告别了传统的机器学习算法们：RF、GBM、SVM、LASSO………。现在微软推出了一个新的boosting框架，想要挑战xgboost的江湖地位。顾名思义，lightGBM包含两个关键点：light即轻量级，GBM 梯度提升机。LightGBM ...
2020-04-01 21:14:03
179
原创 Datawhale 零基础入门数据挖掘-Task3 特征工程
Datawhale 零基础入门数据挖掘-Task3 特征工程¶三、 特征工程目标3.1 特征工程目标对特征进一步分析，并对于数据进行处理3.2 内容介绍常见的特征工程包括：异常处理：箱线图删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；特征归一化/标准化：标准化；归一化；幂律分布： log(1+x1+median)log(\frac{1+x}{1+...
2020-03-28 17:33:16
212
原创 Datawhale 零基础入门数据挖掘-Task2 数据分析
二、 EDA-数据探索性分析Tip:此部分为零基础入门数据挖掘的 Task2 EDA-数据探索性分析 部分，带你来了解数据，熟悉数据，和数据做朋友，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 二手车交易价格预测地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.1228195...
2020-03-24 20:35:34
438
原创 5.9 含并行连结的网络（GoogLeNet）
在2014年的ImageNet图像识别挑战赛中，一个名叫GoogLeNet的网络结构大放异彩 [1]。它虽然在名字上向LeNet致敬，但在网络结构上已经很难看到LeNet的影子。GoogLeNet吸收了NiN中网络串联网络的思想，并在此基础上做了很大改进。在随后的几年里，研究人员对GoogLeNet进行了数次改进，本节将介绍这个模型系列的第一个版本。5.9.1 Inception 块GoogL...
2020-02-25 21:32:59
220
原创 5.8 网络中的网络（NiN）
前几节介绍的LeNet、AlexNet和VGG在设计上的共同之处是：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。其中，AlexNet和VGG对LeNet的改进主要在于如何对这两个模块加宽（增加通道数）和加深。本节我们介绍网络中的网络（NiN）[1]。它提出了另外一个思路，即串联多个由卷积层和“全连接”层构成的小网络来构建一个深层网络。5.8.1 NiN块我们...
2020-02-25 21:32:44
256
原创 5.7 使用重复元素的网络（VGG）
AlexNet在LeNet的基础上增加了3个卷积层。但AlexNet作者对它们的卷积窗口、输出通道数和构造顺序均做了大量的调整。虽然AlexNet指明了深度卷积神经网络可以取得出色的结果，但并没有提供简单的规则以指导后来的研究者如何设计新的网络。我们将在本章的后续几节里介绍几种不同的深度网络设计思路。本节介绍VGG，它的名字来源于论文作者所在的实验室Visual Geometry Group。V...
2020-02-19 21:55:45
416
原创 5.6 深度卷积神经网络（AlexNet）
在LeNet提出后的将近20年里，神经网络一度被其他机器学习方法超越，如支持向量机。虽然LeNet可以在早期的小数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽如人意。神经网络计算复杂。虽然20世纪90年代也有过一些针对神经网络的加速硬件，但并没有像之后GPU那样大量普及。因此，训练一个多通道、多层和有大量参数的卷积神经网络在当年很难完成。当年研究者还没有大量深入研究参数初始化和非...
2020-02-19 21:37:44
2551
1
原创 5.5 卷积神经网络(LeNet)
在“多层感知机的从零开始实现”一节里我们构造了一个含单隐藏层的多层感知机模型来对Fashion-MNIST数据集中的图像进行分类。每张图像高和宽均是28像素。我们将图像中的像素逐行展开，得到长度为784的向量，并输入进全连接层中。然而，这种分类方法有一定的局限性。图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像，使用全连接层容易导致模型过...
2020-02-19 21:37:29
972
原创 5.4 池化层
回忆一下，在“二维卷积层”一节里介绍的图像物体边缘检测应用中，我们构造卷积核从而精确地找到了像素变化的位置。设任意二维数组X的i行j列的元素为X[i, j]。如果我们构造的卷积核输出Y[i, j]=1，那么说明输入中X[i, j]和X[i, j+1]数值不一样。这可能意味着物体边缘通过这两个元素之间。但实际图像里，我们感兴趣的物体不会总出现在固定位置：即使我们连续拍摄同一个物体也极有可能出现像素位...
2020-02-19 21:37:13
1743
原创 5.3 多输入通道和多输出通道
前面两节里我们用到的输入和输出都是二维数组，但真实数据的维度经常更高。例如，彩色图像在高和宽2个维度外还有RGB（红、绿、蓝）3个颜色通道。假设彩色图像的高和宽分别是hhh和www（像素），那么它可以表示为一个3×h×w3\times h\times w3×h×w的多维数组。我们将大小为3的这一维称为通道（channel）维。本节我们将介绍含多个输入通道或多个输出通道的卷积核。5.3.1 多输入...
2020-02-19 21:37:01
2383
原创 5.2 填充和步幅
在上一节的例子里，我们使用高和宽为3的输入与高和宽为2的卷积核得到高和宽为2的输出。一般来说，假设输入形状是nh×nwn_h\times n_wnh×nw，卷积核窗口形状是kh×kwk_h\times k_wkh×kw，那么输出形状将会是(nh−kh+1)×(nw−kw+1).(n_h-k_h+1) \times (n_w-k_w+1).(nh−kh+1)×(nw−kw+1)....
2020-02-19 21:36:48
445
原创 5.1 二维卷积层
卷积神经网络（convolutional neural network）是含有卷积层（convolutional layer）的神经网络。本章中介绍的卷积神经网络均使用最常见的二维卷积层。它有高和宽两个空间维度，常用来处理图像数据。本节中，我们将介绍简单形式的二维卷积层的工作原理。5.1.1 二维互相关运算虽然卷积层得名于卷积（convolution）运算，但我们通常在卷积层中使用更加直观的互...
2020-02-19 21:36:33
478
原创 3.15 数值稳定性和模型初始化
理解了正向传播与反向传播以后，我们来讨论一下深度学习模型的数值稳定性问题以及模型参数的初始化方法。深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。3.15.1 衰减和爆炸当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsy...
2020-02-19 21:35:59
152
原创 3.14 正向传播、反向传播和计算图
前面几节里我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播（forward propagation）的计算，即对输入计算模型输出，然后通过autograd模块来调用系统自动生成的backward函数计算梯度。基于反向传播（back-propagation）算法的自动求梯度极大简化了深度学习模型训练算法的实现。本节我们将使用数学和计算图（computationa...
2020-02-19 21:35:45
662
原创 3.13 dropout
深度学习模型常常使用丢弃法（dropout）来应对过拟合问题。3.13.1 方法单隐藏层的多层感知机:其中输入个数为4，隐藏单元个数为5，且隐藏单元hih_ihi（i=1,…,5i=1, \ldots, 5i=1,…,5）的计算表达式为hi=ϕ(x1w1i+x2w2i+x3w3i+x4w4i+bi),h_i = \phi\left(x_1 w{1i} + x_2 w{2i} + x_3 w...
2020-02-19 21:35:13
779
原创 3.12 权重衰减
本节介绍应对过拟合问题的常用方法：权重衰减（weight decay）。3.12.1 方法权重衰减等价于L2L_2L2范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述L2L_2L2范数正则化，再解释它为何又称权重衰减。L2L_2L2范数正则化在模型原损失函数基础上添加L2L_2L2范数惩罚项，从而...
2020-02-19 21:34:33
530
原创 6.4 循环神经网络的从零开始实现
import d2lzh as d2limport mathfrom mxnet import autograd, ndfrom mxnet.gluon import loss as glossimport time(corpus_indices, char_to_idx, idx_to_char, vocab_size) = d2l.load_data_jay_lyrics()...
2020-02-14 19:41:49
316
原创 6.5 循环神经网络的简洁实现
6.5.1 定义模型Mxnet:num_hiddens = 256rnn_layer = rnn.RNN(num_hiddens)rnn_layer.initialize()batch_size = 2state = rnn_layer.begin_state(batch_size=batch_size)state[0].shapenum_steps = 35X = nd.r...
2020-02-14 19:41:36
288
原创 文本预处理
1 读入文本import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ', line.strip().lower()...
2020-02-14 19:41:26
179
原创 语言模型
1 读取数据集with open('/home/kesci/input/jaychou_lyrics4703/jaychou_lyrics.txt') as f: corpus_chars = f.read()print(len(corpus_chars))print(corpus_chars[: 40])corpus_chars = corpus_chars.replace('\...
2020-02-14 19:41:12
137
原创 3.8 多层感知机
3.8.1 从零开始实现3.8.1.1 获取和读取数据batch_size = 256train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)3.8.1.2 定义模型参数Mxnetnum_inputs, num_outputs, num_hiddens = 784, 10, 256W1 = nd.random....
2020-02-14 19:40:06
227
原创 3.4 Softmax回归
3.4.1 从零开始实现3.4.1.1 获取和读取数据batch_size = 256train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)3.4.1.2 初始化模型参数Mxnetnum_inputs = 784num_outputs = 10W = nd.random.normal(scale=0.01,...
2020-02-14 19:39:54
240
原创 3.3 线性回归的简洁实现
3.3.1 生成数据集Mxnetnum_inputs = 2num_examples = 1000true_w = [2, -3.4]true_b = 4.2features = nd.random.normal(scale=1, shape=(num_examples, num_inputs))labels = true_w[0] * features[:, 0] + true_...
2020-02-14 19:39:42
284
原创 3.2 线性回归的从零开始实现
3.2.1 生成数据产生1000样本，2个特征，使用线性回归模型真实权重w=[2,−3.4]⊤\boldsymbol{w} = [2, -3.4]^\topw=[2,−3.4]⊤和偏差b=4.2b = 4.2b=4.2，以及随机噪声项ϵ\epsilonϵ来生成标签y=Xw+b+ϵ,\boldsymbol{y} = \boldsymbol{X}\boldsymbol{w} + b + \epsi...
2020-02-14 19:39:22
237
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人