深度学习
文章平均质量分 93
龙俊杰的读书笔记
这个作者很懒,什么都没留下…
展开
-
PyTorch 入坑十一: 损失函数、正则化----深刻剖析softmax+CrossEntropyLoss
这里写目录标题概念Loss FunctionCost FunctionObjective Function常用的损失函数交叉熵损失函数nn.CrossEntropyLoss()自信息熵(信息熵)相对熵(KL散度)softmax loss其他概念Loss Function计算一个样本的损失:Cost Function整个训练集(或者batch)的损失平均值Objective Function目标函数是一个更广泛的概念,在机器学习中,目标函数包含Cost和Regularization(正则项)原创 2021-09-25 21:42:19 · 3160 阅读 · 0 评论 -
PyTorch 入坑十:模型泛化误差与偏差(Bias)、方差(Variance)
问题阅读正文之前尝试回答以下问题,如果能准确回答,这篇文章不适合你;如果不是,可参考下文。为什么会有偏差和方差?偏差、方差、噪声是什么?泛化误差、偏差和方差的关系?用图形解释偏差和方差。偏差、方差窘境。偏差、方差与过拟合、欠拟合的关系?偏差、方差与模型复杂度的关系?偏差、方差与bagging、boosting的关系?偏差、方差和K折交叉验证的关系?如何解决偏差、方差问题?本文主要参考知乎文章,如有侵权,请联系作者删除。偏差、方差和噪声原文请参考链接,主要结论总结如下:为什么原创 2021-09-25 15:33:04 · 1446 阅读 · 1 评论 -
PyTorch 入坑九:权重初始化
梯度消失与爆炸参考x。可以得出结论: 要避免梯度消失或者梯度爆炸,就要严格控制网络输出层的输出值的范围,也就是每一层网络的输出值不能太大也不能太小。那么,参数如果使用均匀分布进行初始化,网络每一层的输出结果如何呢,下面通过代码验证BP网络的输出,代码中使用输出Tensor的标准差来衡量数据的尺度范围:import osimport torchimport randomimport numpy as npimport torch.nn as nnclass MLP(nn.Module):原创 2021-09-25 00:23:54 · 9541 阅读 · 2 评论 -
PyTorch 入坑八:卷积与转置卷积
卷积操作略输入输出尺寸变化略PyTorch实现nn.Conv2d(in_channels, out_channels, kernel_size, stride=1. padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')in_channels:输入通道数ou原创 2021-09-21 23:30:21 · 1858 阅读 · 2 评论 -
PyTorch 入坑七:模块与nn.Module学习
模型创建概述本章开始正式整理深度学习网络相关基础知识。模型创建分为两个部分:模型结构创建和权值初始化。模型结构创建从粒度上讲:有层layer和网络Net 两个粒度。前者是指构成CNN的基础结构,如卷积层、池化层、BN层、激活函数层、损失函数层等;后者是指实现某一功能的网络结构如LeNet,AlexNet和ResNet等。创建好模型后,需要对模型进行权值初始化,pytorch提供了丰富的初始化方法,Xavier,Kaiming,均匀分布,正态分布等。好的权重初始化有以下几点优点:加速网络收敛解更原创 2021-09-21 15:45:59 · 1604 阅读 · 1 评论 -
PyTorch 入坑五 autograd与逻辑回归
torch.autograd 深度学习模型的训练就是不断更新权值,权值的更新需要求解梯度,梯度在模型训练中是至关重要的。 然而求解梯度十分繁琐,pytorch提供自动求导系统。我们不需要手动计算梯度,只需要搭建好前向传播的计算图,然后根据pytorch中的autograd方法就可以得到所有张量的梯度。torch.autograd.backward功能:自动求取计算图所有节点变量的梯度tensor:原创 2021-09-20 01:07:10 · 272 阅读 · 0 评论 -
PyTorch 入坑六 数据处理模块Dataloader、Dataset、Transforms
深度学习中的数据处理概述深度学习三要素:数据、算力和算法在工程实践中,数据的重要性越来越引起人们的关注。在数据科学界流传着一种说法,“数据决定了模型的上限,算法决定了模型的下限”,因此在这个“说法”中,明确的表明了,只有好的数据才能够有好的模型,数据才是决定了模型的关键因素。数据很重要简单来说,就是找到好的数据,拿给模型“吃”。但是怎么找到“好”的数据,什么样才算是“好”的数据,给模型吃了后模型性能有没有变化等等问题是一个非常庞大的课题,本文并不深入探讨,首先从特征工程的角度抛出一张图,另外总结一原创 2021-09-20 19:07:16 · 1118 阅读 · 1 评论 -
自动驾驶领域常用的数据集(检测,分割,定位)
原文链接:https://mp.weixin.qq.com/s?__biz=MzA3NDIyMjM1NA==&mid=2649030409&idx=1&sn=2202eba9d4f38acacc46da72f1e6eb86&chksm=87134174b064c8627d904ca31cbb723a614d4223ef67c7642fbde5e6cfb57eee23...原创 2018-11-26 21:31:22 · 14613 阅读 · 2 评论 -
caffe学习日记--lesson5: VS下新建工程,探究Blob
caffe学习日记--lesson5: VS下新建工程,探究Blob在VS2013下新建工程,探究caffe的数据结构Blob,并使用。熟悉caffe1.新建空白的控制台应用程序,添加main.cpp2.在属性管理器中,添加新项目属性表:"caffe_support",添加包含目录,库目录,链接器输入,分别为:包含目录:F:\caffe-cpu\includ原创 2017-11-01 14:52:32 · 293 阅读 · 0 评论 -
RCNN学习笔记(1):Rich feature hierarchies for accurate object detection and semantic segmentation
rcnn主要作用就是用于物体检测,就是首先通过selective search 选择2000个候选区域,这些区域中有我们需要的所对应的物体的bounding-box,然后对于每一个region proposal 都wrap到固定的大小的scale,227*227(AlexNet Input),对于每一个处理之后的图片,把他都放到CNN上去进行特征提取,得到每个region proposal的f转载 2016-10-28 10:25:12 · 467 阅读 · 0 评论 -
rCNN学习笔记二:基于R-CNN的物体检测
基于R-CNN的物体检测原文地址:http://blog.csdn.net/hjimce/article/details/50187029作者:hjimce一、相关理论 本篇博文主要讲解2014年CVPR上的经典paper:《Rich feature hierarchies for Accurate Object Detection and Segmenta转载 2016-10-28 10:29:49 · 489 阅读 · 0 评论