吨吨不打野
不要慌,不要慌,太阳落下有月光
展开
-
动手学深度学习V2.0(Pytorch)——40.实战 Kaggle 比赛:狗的品种识别(ImageNet Dogs)
文章目录P1 代码P3 Q&AP1 代码视频链接:https://www.bilibili.com/video/BV1j5411T7wx教材文档:https://zh-v2.d2l.ai/chapter_computer-vision/kaggle-dog.html代码slides:http://courses.d2l.ai/zh-v2/assets/notebooks/chapter_computer-vision/kaggle-dog.slides.htmlP3 Q&Ahtt原创 2022-03-07 21:52:40 · 1911 阅读 · 4 评论 -
动手学深度学习V2.0(Pytorch)——39.实战 Kaggle 比赛:图像分类(CIFAR-10)
文章目录P1 代码P3 Q&AP1 代码视频链接:https://www.bilibili.com/video/BV1Gy4y1M7Cu教材文档:https://zh-v2.d2l.ai/chapter_computer-vision/kaggle-cifar10.html代码slides:http://courses.d2l.ai/zh-v2/assets/notebooks/chapter_computer-vision/kaggle-cifar10.slides.htmlP3 Q&a原创 2022-03-04 16:00:39 · 1054 阅读 · 0 评论 -
相关-37. 释放GPU显存
文章目录1. 起因2. 常规解决1. 起因RuntimeError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0; 2.00 GiB total capacity; 1.29 GiB already allocated; 79.00 MiB free; 1.30 GiB reserved in total by PyTorch)我的机器显存只有4G如果启动训练后由于代码错误,但是数据和模型已经加载到GPU中。此时报错后,并不会原创 2022-03-01 14:54:44 · 4818 阅读 · 0 评论 -
相关-37.标签重用
标签重用其实思想很简单,重点就是要找到预训练模型对应数据集中,与目标模型数据集中,相同标签对应的权重在fc层的位置/标号确定预训练模型的标签标号对于本节课程来说,使用的预训练模型对应的数据集是ImageNet找到ImageNet的类别及对应标号,点击这里参考:pytorch的forum:Imagenet classespytorch文档:SAVING AND LOADING MODELS...原创 2022-03-01 14:36:33 · 359 阅读 · 0 评论 -
相关-37. BN层代替normalize实验
文章目录1. 认识一下torchvision里的normalize1.1 一维数据的均值和方差1.2 图像的均值和方差→normalize2. 在resnet18前面加入BN层来代替normalize关于pytorch中ImageNet使用的均值和方差,其实github上有个官方的解释,对应的issue为:Origin of the means and stds used for preprocessing?有需要的话,可以去认真看一下全部的讨论,还是比较有价值的。1. 认识一下torchvis原创 2022-02-25 10:27:30 · 189 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——37. 微调
文章目录P1 课件讲解P2 代码P3 Q&AP1 课件讲解视频链接:https://www.bilibili.com/video/BV1Sb4y1d7CR教材文档:https://zh-v2.d2l.ai/chapter_computer-vision/fine-tuning.htmlP2 代码视频地址:https://www.bilibili.com/video/BV1Sb4y1d7CR?p=2代码slides:http://courses.d2l.ai/zh-v2/原创 2022-02-23 13:50:01 · 855 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——36. 数据增广
文章目录P1 课件讲解P2 代码P3 Q&AP1 课件讲解https://www.bilibili.com/video/BV17y4y1g76qP2 代码https://www.bilibili.com/video/BV17y4y1g76q?p=2P3 Q&Ahttps://www.bilibili.com/video/BV17y4y1g76q?p=3原创 2022-02-19 23:41:29 · 758 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——35. 分布式训练
文章目录P1 课件讲解P2 Q&AP1 课件讲解P2 Q&Ahttps://www.bilibili.com/video/BV1jU4y1G7iu?p=2原创 2022-02-18 10:18:33 · 863 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——34. 多GPU训练实现
文章目录P1. 代码从零开始P2. 代码简洁实现P3 Q&AP1. 代码从零开始https://www.bilibili.com/video/BV1MQ4y1R7QgP2. 代码简洁实现https://www.bilibili.com/video/BV1MQ4y1R7Qg?p=2P3 Q&Ahttps://www.bilibili.com/video/BV1MQ4y1R7Qg?p=3...原创 2022-02-17 15:07:01 · 656 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——33.单机多卡并行
文章目录33. P1 课件讲解33. P2 Q&A34. P1. 代码从零开始34. P2. 代码简洁实现34 Q&A33. P1 课件讲解33. P2 Q&Ahttps://www.bilibili.com/video/BV1vU4y1V7rd?p=234. P1. 代码从零开始https://www.bilibili.com/video/BV1MQ4y1R7Qg34. P2. 代码简洁实现https://www.bilibili.com/video/B原创 2022-02-10 22:04:53 · 930 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——32. 深度学习硬件:TPU和其他
32. P1 课件讲解视频地址:https://www.bilibili.com/video/BV1VV41147PC教材文档:https://zh-v2.d2l.ai/chapter_computational-performance/hardware.html32. P2 Q&Ahttps://www.bilibili.com/video/BV1VV41147PC?p=2原创 2022-02-10 15:31:38 · 674 阅读 · 0 评论 -
相关-31. Cache和CPU提高计算效率
文章目录1. 时间局部性和空间局部性2. cache对于行列访问的区别主要是结合弹幕和我的一些印象,复习一下以前 计算机组成原理,尤其是cpu和cache之间数据传输的部分。以下内容来自于:唐朔飞老师的计算机组成原理,以及当时考研使用的王道408-计算机组成原理的书1. 时间局部性和空间局部性以下语句摘自唐朔飞老师的计算机组成原理(不是抄袭,是搬运+组合,挣的是辛苦钱,字都是我自己敲的,pdf书不能编辑❗❗❗,再有不长眼的喷我抄袭,就请你别看老子写的东西????????????)Cache原创 2022-02-10 11:07:06 · 417 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——31. 深度学习硬件:CPU 和 GPU
文章目录31. P1 课件讲解31. P2 Q&A32. P1 课件讲解32. P2 Q&A31. P1 课件讲解https://www.bilibili.com/video/BV1TU4y1j7Wd?p=131. P2 Q&Ahttps://www.bilibili.com/video/BV1TU4y1j7Wd?p=232. P1 课件讲解https://www.bilibili.com/video/BV1VV41147PC原创 2022-02-10 10:57:42 · 1077 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——30. 第二部分完结竞赛:图片分类 及 38. 树叶分类结果 及 43. 树叶分类竞赛技术总结
文章目录30. 竞赛说明30. 竞赛说明https://www.kaggle.com/c/classify-leaves原创 2022-02-07 14:28:37 · 898 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——29.2 ResNet为什么能训练出1000层的模型
文章目录29.2 ResNet为什么能训练出1000层的模型29.2 Q&A29.2 ResNet为什么能训练出1000层的模型https://www.bilibili.com/video/BV1554y157E3这部分没有PPT,所以简单做一些记录和自己绘图29.2 Q&Ahttps://www.bilibili.com/video/BV1554y157E3?p=2...原创 2022-02-07 13:26:59 · 1599 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——29. 残差网络 ResNet
文章目录P1 课件讲解P2 代码P3 Q&A论文地址:https://arxiv.org/abs/1512.03385Deep Residual Learning for Image RecognitionP1 课件讲解https://www.bilibili.com/video/BV1bV41177aphttps://cv.gluon.ai/model_zoo/classification.htmlP2 代码https://www.bilibili.com原创 2022-02-06 22:20:21 · 759 阅读 · 0 评论 -
相关-28. pytorch中register_parameter()和parameter()
文章目录1. Parameter()2. register_parameter()3. 二者的区别1. Parameter()先看一下官方文档的定义和说明,点击这里torch.nn.parameter.Parameter(data=None, requires_grad=True)"""Parameter定义的变量,其实也是一种Tensor,但是其会被作为模型的参数(特殊的张量)Parameters是Tensor的子类,当和Module类一起使用时,会有一个特殊的属性 即:当被指派为模型的原创 2022-02-06 18:08:27 · 2130 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——28. 批量归一化
文章目录P1 课件讲解P2 代码P3 Q&A论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shifthttps://arxiv.org/abs/1502.03167P1 课件讲解https://www.bilibili.com/video/BV1X44y1r77rP2 代码https://www.bilibili.com/video/BV原创 2022-01-27 17:09:30 · 1913 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——27.含并行连结的网络 GoogLeNet / Inception V3
P1 课件讲解https://www.bilibili.com/video/BV1b5411g7Xo原创 2022-01-24 11:11:25 · 667 阅读 · 0 评论 -
相关-26. pytorch中nn.AdaptiveAvgPool2d() 与 nn.AvgPool2d()函数的区别
1. 文档和示例在实现NiN的时候,实现GAP使用了nn.AdaptiveAvgPool2d()函数,这里总结一下这两个函数的使用。1.1 nn.AdaptiveAvgPool2d()nn.AdaptiveAvgPool2d()的帮助文档nn.AdaptiveAvgPool2d(output_size: Union[int, Tuple[int, ...]]) -> NoneApplies a 2D adaptive average pooling over an input signal原创 2022-01-21 14:59:41 · 1965 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——26. 网络中的网络 NiN
P1 课件讲解https://www.bilibili.com/video/BV1Uv411G71bP2 代码https://www.bilibili.com/video/BV1Uv411G71b?p=2P3 Q&Ahttps://www.bilibili.com/video/BV1Uv411G71b?p=3原创 2022-01-21 12:35:39 · 741 阅读 · 0 评论 -
相关-26. pytorch默认初始化方式
其实可以去代码里看看的,主要位置在torch\nn\modules这个文件夹中,包含:|--modules |--linear.py |--rnn.py |--cnn.py |-- et.al.1. 全连接层代码位于:https://github.com/pytorch/pytorch/blob/master/torch/nn/modules/linear.py#L85 def __init__(self, in_features: int, out_features: int, bias原创 2022-01-21 12:32:32 · 833 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——25. 使用块的网络 VGG
P1 讲解https://www.bilibili.com/video/BV1Ao4y117PdP2 代码实现https://www.bilibili.com/video/BV1Ao4y117Pd?p=2P3 Q&Ahttps://www.bilibili.com/video/BV1Ao4y117Pd?p=3原创 2022-01-18 19:49:42 · 560 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——24.深度卷积神经网络 AlexNet
P1 深度卷积神经网络 AlexNethttps://www.bilibili.com/video/BV1h54y1L7oe/P2 代码P3 Q&A原创 2022-01-17 17:08:39 · 416 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——23. LeNet(mnist)
P1 经典卷积神经网络LeNethttps://www.bilibili.com/video/BV1t44y1r7ctP2 代码https://www.bilibili.com/video/BV1t44y1r7ct?p=2P3 Q&Ahttps://www.bilibili.com/video/BV1t44y1r7ct?p=3原创 2022-01-15 00:10:17 · 548 阅读 · 0 评论 -
相关-22. Opencv-Python图像的几何变换(包括缩放/平移/旋转/仿射变换/透视变化)
参考:opencv python 图像缩放/图像平移/图像旋转/仿射变换/透视变换Python实现图像平移、旋转、水平镜像等小强学Python+OpenCV之-1.4.1平移、旋转、缩放、翻转-之实践OpenCV Image Translationmatplotlib文档:Affine transform of an image(图像仿射变换)matplotlib文档:matplotlib.transformsImage Translation using OpenCV | Pythono原创 2022-01-11 21:42:27 · 2037 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——22. 池化层
P1 池化层https://www.bilibili.com/video/BV1EV411j7nXP2 代码实现https://www.bilibili.com/video/BV1EV411j7nX?p=2P3 Q&Ahttps://www.bilibili.com/video/BV1EV411j7nX?p=3原创 2021-12-29 10:17:54 · 399 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——21. 卷积层里的多输入多输出通道
P1 卷积层里的多输入多输出通道https://www.bilibili.com/video/BV1MB4y1F7ofP2 代码实现https://www.bilibili.com/video/BV1MB4y1F7of?p=2P3 Q&Ahttps://www.bilibili.com/video/BV1MB4y1F7of?p=3原创 2021-12-22 11:01:12 · 655 阅读 · 0 评论 -
相关-21. 卷积的示意图(普通卷积,多通道卷积等)及Featur Map可视化
0. 普通卷积动图图源自:Types of Convolution(Translation)图自:Intuitively Understanding Convolutions for Deep Learning图自:github-vdumoulin/conv_arithmetic这里还有很多其他类似的图,上图是padding取1(kernel-2p=1),步幅取偶数(取了2)的情况图自:Convolutional layer图自:CNN Image Classification原创 2021-12-14 11:13:40 · 5734 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——20. 卷积层里的填充和步幅
P1 填充和步幅https://www.bilibili.com/video/BV1Th411U7UN原创 2021-12-13 17:26:44 · 2373 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——19.卷积
P1 从全连接层到卷积https://www.bilibili.com/video/BV1L64y1m7Nh假设有一个还不错的手机,拍出来一张图片(比如iphone11的后置摄像头,就是双摄:1200 万像素广角及超广角,来自iphone11技术规格)。那么一张照片至少12M(Million 百万),如果是RGB图的话就是36M???如果使用一个有100个神经元的单隐藏层的MLP,考虑一下,y=wx+by=wx+by=wx+b,这里x=36M∗1x=36M*1x=36M∗1,则w=100∗36M=原创 2021-12-09 17:33:00 · 2396 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——17. 使用和购买GPU
1. 使用GPUhttps://www.bilibili.com/video/BV1z5411c7C1?p=12. 购买GPUhttps://www.bilibili.com/video/BV1z5411c7C1?p=23. Q&Ahttps://www.bilibili.com/video/BV1z5411c7C1?p=3原创 2021-12-01 10:11:40 · 1277 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——16. PyTorch 神经网络基础
P1 模型构造https://www.bilibili.com/video/BV1AK4y1P7vs?p=1原创 2021-11-26 16:54:55 · 821 阅读 · 0 评论 -
相关-5/14. 向量对向量求导/矩阵对矩阵求导
中文参考知乎系列文章:矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)博客园刘建平博客:机器学习中的矩阵向量求导(一) 求导定义与求导布局向量对向量求导如果还有疑问,可以建议检索英文calculate the derivative of matrix。http://cs231n.stanford.edu/vecDerivs.pdfhttps://ccrma.stanford.edu/~dattorro/matrixcalc.pdfhttps://web.stanford.e原创 2021-11-16 11:37:09 · 527 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——15. Kaggle房价预测及18. 预测房价竞赛总结
https://www.bilibili.com/video/BV1NK4y1P7Tu?p=1原创 2021-11-10 10:38:40 · 975 阅读 · 2 评论 -
相关-15. python中*星号的作用(星号表达式)
参考菜鸟教程: Python 函数不定长参数你可能需要一个函数能处理比当初声明时更多的参数。这些参数叫做不定长参数,和上述2种参数不同,声明时不会命名。基本语法如下:def functionname([formal_args,] *var_args_tuple ): "函数_文档字符串" function_suite return [expression]加了星号(*)的变量名会存放所有未命名的变量参数。不定长参数实例如下:#!/usr/bin/python# -*- c.原创 2021-11-09 16:11:49 · 740 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——14. 数值稳定性/模型初始化/激活函数
1. 数值稳定性https://www.bilibili.com/video/BV1u64y1i75a?p=12. 模型初始化和激活函数让训练更加稳定原创 2021-11-03 16:58:57 · 510 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——13.丢弃法
丢弃法,dropouthttps://www.bilibili.com/video/BV1Y5411c7aY?p=11. 课件讲解对人来说,给你看一只猫的正面,反面,侧面,闭眼,睁眼各种状态的图片,都可以认出来这是一只猫。也就是说,我们希望模型对输入数据具有比较好的鲁棒性(robust to noises)使用有噪音的数据等价于Tikhonov正则...原创 2021-10-29 14:07:39 · 402 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——12. 权重衰退
https://www.bilibili.com/video/BV1UK4y1o7dy?p=1原创 2021-10-27 17:19:24 · 964 阅读 · 0 评论 -
动手学深度学习V2.0(Pytorch)——11.模型选择+过拟合和欠拟合
https://www.bilibili.com/video/BV1kX4y1g7jp?p=11. 模型选择比如说,银行雇你去调查贷款情况,然后你拿到了一些数据。你的任务就是找出那些欠钱不还的人/违约的人。然后你发现那五个违约的人在申请贷款的时候都穿了蓝色衬衫(蓝领)模型也发现了但是这个信号其实不足以说明问题,可能刚好面试那天穿了蓝色,第二天也许是红色呢?所以模型很容易被这种看似有道理的信号给误导,所以遇到这种问题的时候主要是看损失!包括训练误差(训练集损失)和泛化误差(测试集损失)原创 2021-10-13 16:00:09 · 359 阅读 · 0 评论