深度学习
文章平均质量分 83
A.Star
AStar开源社区创建者
展开
-
【原创】libtorch安装和踩坑(一)windows10下libtorch环境的安装
DL组的兄弟给了一个pytorch生成的model文件(.pt),可以检测行人和车辆。我这边处理SLAM工程用C++写的,所以需要使用libtorch跑通demo以便于功能融合。注意: 以下包含的代码的环境为 windows 10、VS 2022、CMake 3.8、libtorch-CPU-1.11.0在这里下载: Start Locally|PyTorch.后面加上find_package(Torch Required) 在Cpp文件里面写入,运行可以出结果即可 之前的版本教程有 引入 的,但是这个版原创 2022-06-04 13:52:40 · 1996 阅读 · 5 评论 -
【原创】深度学习学习笔记(四)-信息处理单元(神经元)
文章目录空间信息处理单元1. 卷积层2. 池化层时间信息处理单元 空间信息处理单元 CNN卷积神经网络,输入层、卷积层、池化层、全连接层 1. 卷积层 输入:特征图[h,w,d,n],h,w为图长宽,d为深度(通道数),n批量大小,k个尺寸为[a,a,d]的滤波器(卷积核) 卷积运算:加权求和,对应相乘,乘积之和作为中心像素新值。 输出尺寸:[h,w,d,n] 其中s为滑动步长,p为填充大小(0填充尺寸) 调整p来保证输出尺寸为整数 感受野(超参数),就是滤波的尺寸空间a 局部连接 权重共享(参数共享)原创 2022-06-04 13:00:21 · 184 阅读 · 0 评论 -
【原创】深度学习学习笔记(三)-神经网络训练过程(2)
文章目录5.参数更新5.1 简表5.2 学习率5.3 小批量5.4 寻优方法5.4.1 SGD系列5.4.2 Momentum(动量)5.4.3 NAG (Nesterov Acceleration Gradient) 5.参数更新 5.1 简表 概念 寻找能使损失函数最小的参数矩阵w的过程 主体思路 迭代优化 常见方法 梯度下降,SGD,Momentum, NAG,AdaGrad,RMsprop,Adam… 5.2 学习率 目的: 加快收敛速度 常用方法 1)先用一个大的值原创 2022-05-22 02:07:39 · 693 阅读 · 0 评论 -
【原创】深度学习学习笔记(一)-神经网络基本组成单元
神经网络基本组成单元 感知器 感知器主要分为三个部分:参数、求和单元、激活函数 参数:权重(w)+偏置(b) 函数:y=sgn(wx+b) y=sgn(wx+b)y=sgn(wx+b) 求和函数: y=∑i=1n(wixi+b) y = \sum_{i=1}^n(w_ix_i+b) y=i=1∑n(wixi+b) 激活函数:人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。 常用的激活函数 sigmoid函数 函数 δ(x)=11+e−x \delta(x)原创 2022-05-13 19:57:20 · 497 阅读 · 2 评论 -
【原创】深度学习学习笔记(二)-神经网络训练过程(1)
文章目录1. 权重初始化2. 偏置初始化3. 损失函数loss4.反向传播 1. 权重初始化 不初始化时,为0学不到东西 应使各层的激活值既不饱和也不为0,正确的初始化可以加快收敛,降低梯度消失、爆炸的风险 常见的初始化方法,小随机数初始化、服从一个多变量高斯分布或多变量均匀分布 初始化不合适,训练变慢难收敛 诊断方法 观察所有层的激活值和梯度分布的柱状图 例:双曲正切激活函数在区间[-1,1]内都有分布,全为0或者全饱和都是有问题的 检查每一层的激活值和梯度方差 2. 偏置初始化 b:0 (re原创 2022-05-19 16:17:28 · 623 阅读 · 0 评论