林景的博客

perming: Perceptron Models Are Training on Windows Platform with Default GPU Acceleration.

ResNet-18、PyTorch、CIFAR10

GoogLeNet、PyTorch、CIFAR10

深度学习基础之sofxmax回归模型输出可以是一个像图像类别的离散值。对于这样的离散值预测问题，可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。1. 分类问题考虑⼀个简单的图像分类问题，其输⼊图像的高和宽均为2像素，且色彩为灰度。这样每个像素值都可以用一个标量表示。我们将图像中的4像素分别记为x1,x2,x3,x4x_1,x_2,x_3,x_4x1​,x2​,x3​,x4​。假设训练数

softmax回归的从零开始实现# 导入包或模块%matplotlib inlinefrom utils import load_data_fashion_mnistfrom mxnet import autograd, nd1. 获取和读取数据# 使用Fashion-MNIST数据集，并设置批量大小为256batch_size = 256train_iter, test_iter = load_data_fashion_mnist(batch_size)2. 初始化模型参数已知每个

softmax回归的简洁实现# 导包%matplotlib inlinefrom mxnet import initfrom mxnet.gluon import loss as glossfrom mxnet.gluon import nn, Trainer1. 获取和读取数据from utils import load_data_fashion_mnistbatch_size = 256train_iter, test_iter = load_data_fashion_mnist(b

【动手学深度学习】代码（持续更新）链接：https://pan.baidu.com/s/129wfQLVfPgmjmPxG3Wlf_A提取码：svhf内容：文件名内容.ipynb_checkpointsjupyter lab检查点_pycache_python根目录DataOperation.ipynb数据操作LinearRegression.ipynb线性回归ImageCfDataSet.ipynb图像分类数据集softmaxRegres

kaggle比赛：房价预测1. 获取和读取数据集%matplotlib inlinefrom mxnet import autograd, gluon, init, ndfrom mxnet.gluon import data as gdata, loss as gloss, nnimport numpy as npimport pandas as pdtrain_data = pd.read_csv('kaggle_house_pred_train.csv')test_data = pd

VGGNet、CIFAR10、PyTorch

丢弃法可以采用倒置丢弃法来应对过拟合问题。1. 方法⼀个单隐藏层的多层感知机。其中输⼊个数为4，隐藏单元个数为5，且隐藏单元hi（i=1,...,5）h_i（i = 1, . . . , 5）hi​（i=1,...,5）的计算表达式为：hi=ϕ(x1w1i+x2w2i+x3w3i+x4w4i+bi)(1)h_i=\phi(x_1w_{1i}+x_2w_{2i}+x_3w_{3i}+x_4w_{4i}+b_i) \tag 1hi​=ϕ(x1​w1i​+x2​w2i​+x3​w3i​+x4​w4i​

深度学习基础之线性回归1. 线性回归的基本要素以⼀个简单的房屋价格预测作为例⼦来解释线性回归的基本要素。假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。模型：设房屋的面积为x1x_1x1​，房龄为x2x_2x2​，售出价格为yyy。建立基于输入x1x_1x1​和x2x_2x2​来计算输出yyy的表达式，也就是模型（model）。顾名思义，线性回归假设输出与各个输入之间是线性关系：y^=x1w1+x2w2+b(1)\hat{y}=x_

正向传播、反向传播和计算图1. 正向传播正向传播是指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出）。假设输入是一个特征为x∈Rdx \in R^dx∈Rd的样本，且不考虑偏差项，那么中间变量：z=W(1)x(1)z = W^{(1)}x \tag 1z=W(1)x(1)其中W(1)∈Rh×dW^{(1)} \in R^{h \times d}W(1)∈Rh×d是隐藏层的权重参数。把中间变量z∈Rhz \in R^hz∈Rh输入按元素运算的激活函数ϕ\phiϕ后，将

模型选择、欠拟合和过拟合引入：当模型在训练数据集上更准确时，它在测试数据集上却不一定更准确。1. 训练误差和泛化误差机器学习模型应关注降低泛化误差要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意⼀个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用损失函数。训练误差可以认为是做往年高考试题（训练题）时的错误率，泛化误差则可以

多层感知机（MLP）以多层感知机为例，介绍多层神经网络。1. 隐藏层多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。在上图的多层感知机中，输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidden unit）。由于输入层不涉及计算，上图中的多层感知机的层数为2.由上图可见，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。因此，多层感知机中的隐藏层和输出层都是全连接层。给定

权重衰减虽然增⼤训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。应对过拟合问题的常用方法：权重衰减。1. 方法权重衰减等价于L2L_2L2​范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常⽤⼿段。L2L_2L2​范数正则化在模型原损失函数基础上添加L2L_2L2​范数惩罚项，从而得到训练所需要最小化的函数。L2L_2L2​范数惩罚项指的是模型权重参数每个元素的平⽅和与⼀个正的常数的乘积。不添加惩罚项的线性回归损失函

多层感知机从零开始实现# 导包from utils import load_data_fashion_mnist, train_ch3from mxnet import ndfrom mxnet.gluon import loss as gloss1. 获取和读取数据使⽤Fashion-MNIST数据集，采用多层感知机对图像进⾏分类。batch_size = 256train_iter, test_iter = load_data_fashion_mnist(batch_size)2.

文章目录数据操作1. 创建NDArray1.1 通过shape属性来获取NDArray实例的形状1.2 通过size属性得到NDArray实例中元素的总数1.3 使用reshape函数把行向量x的形状改为(3,4)1.4 创建一个各元素为0，形状为(2,3,4)的张量1.5 创建各元素为1的张量1.6 通过Python的列表（list）指定需要创建的NDArray中每个元素的值1.7 创建NDArray，每个元素都随机采样于均值为0、标准差为1的正态分布2. 运算2.1 加法2.2 乘法2.3 除法2.4

多层感知机的简洁实现# 导包from mxnet import initfrom mxnet.gluon import loss as glossfrom mxnet.gluon import nn, Trainerfrom utils import load_data_fashion_mnist, train_ch31. 定义模型和softmax回归唯⼀的不同在于，我们多加了⼀个全连接层作为隐藏层。它的隐藏单元个数为256，并使⽤ReLU函数作为激活函数。net = nn.Sequent

PyTorch、CIRAF10、AlexNet

LeNet-5、PyTorch、MNIST-dataset

图像分类数据集（Fashion-MNIST）1. 获取数据集# 导入本节需要的包或模块%matplotlib inlinefrom IPython import displayfrom matplotlib import pyplot as pltfrom mxnet.gluon import data as gdataimport sysimport time# 通过参数train来指定获取训练数据集或测试数据集（testing data set）mnist_train = gdat