《PyTorch深度学习实践》-b站刘二大人
文章平均质量分 78
m0_60673782
这个作者很懒,什么都没留下…
展开
-
PyTorch深度学习实践-P13循环神经网络(高级篇)
用RNN做一个分类器~根据名字来判断国家18个语言地区,几千个名字,训练模型,输入新名字,然后告诉我们是使用哪种语言的人 复习:oneho通过嵌入层,然后RNN层,隐状态~做线性层,把输出映射成我们要的维度 hN是最后一个隐层 输入名字M c l e a n是一个序列,而且序列长短不一样 我们把嵌入层RNN 线性层 定义名叫RNNClassifier 主循环: if __name__ == '__main__': #N_C..原创 2021-10-26 21:34:08 · 506 阅读 · 0 评论 -
PyTorch深度学习实践-P12循环神经网络
Basic RNN 是神经网络的一种DNN dense 稠密网络,deep 深网络 有很多线性层 x1,x2,x3x4...是数据样本的不同特征 quan'lian'e'ji'cen原创 2021-10-26 16:44:50 · 262 阅读 · 0 评论 -
PyTorch深度学习实践-P11卷积神经网络(高级篇)
复习此网络结构与LeNet5很像,LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络,是早期卷积神经网络中最有代表性的实验系统之一。参考资料:https://blog.csdn.net/strint/article/details/44163869GoogLeNet:不是串行结构的CNN蓝色:卷积,红色:池化,黄色:softmax,other:拼接或者其他 减少代码冗余:函数/类,图中蓝蓝红 四个蓝 重复多次,考虑变成一块 蓝蓝红 四个蓝叫 Incept原创 2021-10-25 19:39:01 · 1416 阅读 · 1 评论 -
PyTorch深度学习实践-P10卷积神经网络
复习:上一节的全连接神经网络任意两个节点之间都有权重全连接层处理图片时丢失了部分空间信息,因为为它把输入直接连成了一长串,但没有考虑他们在图片中的位置处理图像时常用的二维卷积神经网络:考虑输入输出维度,做空间变换工作方式:输入图像1*28*28的张量 c*w*h卷积层:保留图像的空间特征feature maps:卷积之后,依然是三维张量,得到了4*24*24的图像 通道变了 高度宽度变了feature maps:2*2下采样之后得到了4*12*12的图像,使...原创 2021-10-25 11:20:13 · 1189 阅读 · 0 评论 -
PyTorch深度学习实践-P9多分类问题
在Mnist数据集中,我们要得到的输出是0-9,共有十类,这种情况下我们希望输出0-9的概率都大于0,且和为1是最后一层线性层的输出,损失函数:LOSS=-Y*logY_hatNLLLoss:nagative log likelihood loss输入一个 y是真实标签,另一个输入要求是softmax之后求对数实现过程:在PyTorch中,交叉熵损失全部封装成了Torch.nn.CrossEntropyLoss()要求y是长整形张量LongT...原创 2021-10-24 18:16:32 · 353 阅读 · 0 评论 -
PyTorch深度学习实践-P8加载数据集
Dataset and DataLoaderdatase用来构造数据集,数据集应该支持索引 ,dataloader用来拿出一个mini-batch来供训练时快速使用。复习:用全部batch,可以提升计算速度,可以使用CPU、GPU的并行能力,在处理性能上会较慢 使用一个样本来随机梯度下降,可以帮助我我们跨过鞍点,但会导致优化时间过长,一个样本本没法使用并行计算能力,数据上下有关联 使用mini-batch平衡性能和时间的需求对于epoch、batch-size、iterations的定义:原创 2021-10-24 18:17:02 · 491 阅读 · 0 评论 -
《PyTorch深度学习实践》-P7处理多维特征的输入
一行一样本sample,一列一特征featurediebetes dataset数据集在Anaconda/Lib/sit-packages/sklearn/datasets/data/diabetes_data和diebetes_target多维logistic回归模型(下标特征维度,上标样本)mini-batch(N samples)将运算向量化,变成矩阵 ,这样就可以利用GPU的并行运算能力~而不用for循环来算z1,z2,z3torch.nn.Linear(8,1)..原创 2021-10-21 19:55:23 · 181 阅读 · 0 评论 -
《PyTorch深度学习实践》-P6逻辑斯蒂回归
逻辑斯蒂回归是做分类用的,输出是概率的分布复习:线性回归回归与分类的区别:分类输出y_hat可以是通过的概率(【0,1】),也可以是结果,通过或挂科。分类输出为概率,在训练时,logistic要把输出值从是实数空间映射到【0,1】在pytorch中把logistic 叫做sigmoidLogstic回归模型:论文中常把logistic函数写成(x)损失函数:线性回归模型中loss=(y_hat-y)**2在几何上表示两点距离差异logi...原创 2021-10-21 16:09:17 · 144 阅读 · 0 评论 -
《PyTorch深度学习实践》-P5线性回归
1prepare dataset2design model using Class (计算y_hat)3consturct loss and optimizer using PyTorch API构造损失函数和优化器4training cycle (forwward backward update 前馈算损失,后馈算梯度,更新权重)广播机制:用mini-batch的方式来做线性回归第一步X、Y是3x1的tensor(张量),w是3x1的矩阵(这里可以理解为矩阵)(对应位置..原创 2021-10-21 11:39:59 · 409 阅读 · 0 评论 -
PyTorch深度学习实践--P4BP算法反向传播
2021.10.20线性模型 y=w*x机器学习中最重要的是让损失函数最小,求损失函数对于w的导数来更新权重pytorch中,tensor是用来存数据的,可以存标量、向量、矩阵、高阶tensortensor中包含data和grad,分别保存权重值和损失函数对权重的导数建立了tensor就可以去建立计算图用tensor需要import torch反向传播体现在l.backwardimport torchx_data = [1.0, 2.0, 3.0]...原创 2021-10-20 17:27:37 · 235 阅读 · 0 评论 -
PyTorch深度学习实践-P3梯度下降算法
又名贪心算法原创 2021-10-27 08:54:36 · 234 阅读 · 0 评论 -
PyTorch深度学习实践-P2线性模型
1dataset 2model 3training 4infering 假设数据集如下 模型知道输入值对应的输出值,就叫监督学习,模型可以根据输出和预测之间的差异对模型进行调整 数据集一般分为训练training集 可以看到(x,y)、测试test集只能看到x,若数据较少则把数据集分为两份,一份训练,一份评估~开发集Dev 线性模型: w系统随机猜测损失函数: MSE均方误差: 得到结果 w=2时,损失最小 完整代码:#线性模型...原创 2021-10-25 20:13:15 · 246 阅读 · 0 评论