深度学习零碎笔记

最新推荐文章于 2023-03-30 21:21:12 发布
最新推荐文章于 2023-03-30 21:21:12 发布
阅读量209 收藏
点赞数
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38345887/article/details/106064648
版权

卷积核

  1. 第一层卷积核可以识别出低阶特征，边角，曲线等
    若第一层中有5个卷积核，其中，第一个卷积核可以识别横线，第二个可以识别竖线，第三个可以识别向上弯着的线等等，则经过第一层卷积后，得到五个M*N的特征图，每一个得到的特征图都可以反映出分别对于其对应卷积核的相合程度。

  2. 相应的，第二层表达的是更为深层次的特征
    如经过第一层卷积得到的特征图figure_1，该特征图对应的卷积核是检测竖线的，则figure_1表达的是对于竖线的相合度值，（得到的数值越高，说明越相合，说明此处越是竖线），然后经过第二层卷积，可以在检测竖线的基础上检测其他的图形，如L型，倒T型等等。

  3. 所以越往后，表达的语义越高。

https://www.zhihu.com/question/39022858

nipper_hou
关注
pytorch----深度学习中学习率的衰减策略
qq_40379132的博客
06-09 9738
学习率是 神经网络 优化时的重要超参数。学习率α的取值非常关键，学习率越大则权重更新的越快。在梯度下降方法中，如果过大就不会收敛，如果过小则收敛速度太慢。学习率越大，输出误差对参数的影响就越大，参数更新的就越快，但同时受到异常数据的影响也就越大，很容易发散。一般来说，我们希望在训练初期学习率大一些，使得网络收敛迅速，在训练后期学习率小一些，使得网络在收敛到最优点附近时避免来回震荡，更好的收敛到最优解。 因此，比较简单直接的学习率调整可以通过学习率衰减（Learning Rate Decay）的方式来实现。可
深度学习——3D Fully Convolutional Network for Vehicle Detection in Point Cloud模型实现
hit1524468的专栏
05-03 2466
1. 参考文献3D Fully Convolutional Network for Vehicle Detection in Point Cloud2. 模型实现''' Baidu Inc. Ref: 3D Fully Convolutional Network for Vehicle Detection in Point Cloud Author: HSW Date: 2018-05-...
深度学习一些基础知识细节
张小北的博客
03-10 1387
BN层：作用：加速网络的收敛速度 BN层原理及作用_VictorHan01的博客-CSDN博客_bn层的原理和作用 python实现：Batch Normalization（BN）Python实现_柯南道尔的春天的博客-CSDN博客_python实现bn 解决的问题：输入的数据都具有不同的分布，会给下层网络的训练带来困难。 计算方法： 1.先求出此次批量数据x的均值 2.求出此次批量的方差 3.接下来就是对本次批量的x做归一化：xi-E(x)/(根号下批量方差-极小值（eps）)防止分母为
eps的作用
nyist_yangguang的博客
05-07 3182
eps是为了防止分母为0，一般可以取1e-4到1e-8之间。
深度学习损失函数、优化器选择——调参与优化
qq_40356092的博客
05-31 5865
早些年很多深度学习的研究人员还在做着调参、炼丹的工作，随着深度卷积神经网络发展到现在，调参的工作渐渐地不被看重，甚至出现了很多自动调参的工具。本文就深度学习中经常使用的损失函数、优化器、学习率迭代策略等进行介绍。 一、损失函数 损失函数是指用于计算标签值和预测值之间差异的函数，对于不同的任务，使用的损失函数也不相同，在目标检测等领域，损失函数往往需要自己定义。 1、L1 Loss L1Loss 计算的是预测值和真实值之间绝对误差的平均数。公式如下所示： #pytorch代码 torch.nn.L1Loss
【深度学习】深度学习中经常会被问到的知识点总结（1） | GPT记录
最新发布
weixin_46274756的博客
03-30 2509
【深度学习】深度学习中经常会被问到的知识点总结（1） | GPT记录 答案来自己CHATGPT
目标检测深度学习方法综述（一）
sun_shine56的博客
03-13 3117
0.前言 从去年九月份以来，我断断续续的接触并了解了深度学习中目标检测方面的知识。读了几篇论文，也尝试着跑了几个代码，对目标检测领域的深度学习方法有了大致的了解，一直准备写一篇综述性的学习报告，来总结我所学到，看到的知识点。但由于所学太过于零碎，不成体系，一直没有动手整理。直到前两天我导让我将18年之后比较典型的神经网络模型总结一哈，我这下定决心，准备将我这大半年所学到的关于深度学习目标检测的知识...
刘二大人《PyTorch深度学习实践》
baimenglin的博客
09-12 3344
刘二大人《PyTorch深度学习实践》线性模型 线性模型 损失函数是针对一个样本的 training set得到的是一个平均平方误差MSE 穷举法绘制损失曲线：numpy和matplotlib import numpy as np import matplotlib.pyplot as plt #数据集 x_data = [1.0,2.0,3.0] y_data = [2.0,4.0,6.0] #定义模型 def forward(x): return x * w #定义损失函数 def loss
深度学习笔记
10-31
深度学习笔记。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
李宏毅强化学习完整笔记！开源项目《LeeDeepRL-Notes》发布
Datawhale
11-22 914
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale开源核心贡献者：王琦、杨毅远、江季提起李宏毅老师，熟悉强化学习的读者...
深度学习中的normalization
weixin_45711264的博客
03-11 1218
背景： normalization的作用：解决数据尺度分布异常的问题。relu可以解决，但可能出现梯度爆炸或消失。sigmoid也会导致梯度爆炸或消失。normalization则将数据尺度控制在一个合理区间内，主要是让梯度在0.5附近，不会过于接近0（消失），也不会超过1（爆炸）。 一、batch normalization 一个Batch的图像数据shape为[样本数N, 通道数C, 高度H,...
eps是什么？
What's this?
02-02 5492
为什么 1-(1+eps/2)=0 呢？  eps 叫做机器的浮点运算误差限！PC机上eps的默认值为2.2204*10^(-16)若某个量的绝对值小于eps，就认为这个量为0等式中的eps/2小于eps，所以运算中就认为是0！答案也就是0 但是   1-(1+eps*2/5)=0                                            1-(
深度学习之参数优化方法
热门推荐
sinat_32043495的博客
01-03 1万+
优化问题:给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小 1.Vanilla update x += - learning_rate * dx 对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次更新都利用一个batch的数据，而非整个训练集。即： 好处在于： 当训练数据太多时，利用整个数据集更新往往时间上不显示。batch
深度学习模型需要调哪些参数
tszupup的博客
12-19 9907
深度学习模型训练时需要调哪些参数？ 1、参数初始化策略 代码示例： # Common practise for initialization. for layer in model.modules(): if isinstance(layer, torch.nn.Conv2d): torch.nn.init.kaiming_normal_(layer.weight, mode='fan_out', ..
notes：记录学习笔记
02-24
个人博客 链接 个人站点： : CSDN站点（已停更） 网站使用 搜寻 ： Alt+P 关闭Esc 小工具 展开Alt+J ...主要以不同知识领域为一个分类，每个分类下或许有个XXX Core.md记录一些基本但有条理的知识点... 科尔多瓦深度学习
深度学习有哪些trick？
3D视觉工坊
07-05 892
作者丨DOTA、永无止境、冯迁来源丨知乎问答编辑丨极市平台导读Deep learning在训练的时候往往有很多trick，不可否认这些trick也是DL成功的关键因素之一，所谓“the ...
深度学习之--聚类算法
xp_fangfei的博客
09-22 4927
介绍主要的聚类算法
【深度学习-CS231n】线性分类器和神经网络
vict_wang的博客
02-28 3440
学习到的权重W相当于图像模板 评分函数：原始图像数据到类别分值的映射 损失函数：量化预测值和真实值的差距，越小越好。利用梯度最优化，求出损失函数值最小时的参数（权重W） 损失函数包含两个部分：数据损失和正则化损失 正则化 目的：向某些特定的权重W添加一些偏好，对其他权重不添加，以此来消除模糊性（即避免不同的权重均使损失函数最小，求出了多个W图像模板） 实现方式：是向损失函数增加一个正则化惩罚（r...
Deep Learning模型中常见的optimizer优化器算法总结
BGoodHabit的博客
10-01 2026
目录1. 优化算法在DL中的挑战1.1 优化算法定义1.2 挑战：局部最小值与鞍点2. 常见的优化算法2.1 梯度下降 (gradient descent)2.1.1 梯度下降算法可以降低目标函数值原因2.1.2 学习率设定2.2 随机梯度下降 (stochastic gradient descent)2.3 批量随机梯度下降 ( batch gradient descent)2.4 Momentum2.5 Adagrad2.6 RMSProp2.7 Adadelta2.8 Adam 1. 优化算法在DL中
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值