pytorch深度学习
文章平均质量分 89
从0到1学习深度学习的基础概念,并学会训练,推理模型,以及优化部署到嵌入式系统、边缘计算设备。
发狂的小花
公众号:极空AI
AR行业经验、算法部署优化、图像处理算法、slam、SGBM、相机标定、TOF
CPU、DSP、GPU、算子针对硬件优化
展开
-
Pytorch深度学习实践笔记12(b站刘二大人)
用于处理一些具有前后关系的序列问题。循环神经网络(Recurrent Neural Network, RNN)是一类以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。常见的循环神经网络包括双向循环神经网络(Bidirectional RNN, Bi-RNN)和长短期记忆网络(Long Short-Term Memory networks,LSTM)。循环神经网络的真正形式是左边这种,但是也常表现为右边这种,一般隐藏层初始状态为0,当输入x1后,计算出下一个状态h1,原创 2024-05-28 15:25:30 · 1033 阅读 · 0 评论 -
Pytorch深度学习实践笔记11(b站刘二大人)
(1)用来对通道数进行降维或升维,保持Feature Map长宽不变,减少计算量(2)实现跨通道信息的融合(3)可以保持输入和输出网络结构不变的同时,融合特征原创 2024-05-27 22:42:38 · 401 阅读 · 0 评论 -
Pytorch深度学习实践笔记10(b站刘二大人)
CNN,用于特征提取,但是计算量大,卷积算子是一个计算密集型算子,工业界优化卷积算子是一个重大的任务。有LeNet、AlexNet、VGG系列、ResNet、很多深度学习框架都提供了丰富的CNN模型实现个训练的接口。原创 2024-05-27 22:40:28 · 945 阅读 · 0 评论 -
Pytorch深度学习实践笔记9(b站刘二大人)
one-hot 编码用于将离散的分类标签转换为二进制向量,关键是离散的分类和二进制向量。多分类问题利用Softmax实现,SoftMax 可以用来做分类,输出属于某个类别的概率原创 2024-05-27 16:56:34 · 682 阅读 · 3 评论 -
Pytorch深度学习实践笔记8(b站刘二大人)
batch_size=4表示每次取四个数据shuffle= True表示开启数据集随机重排,即每次取完数据之后,打乱剩余数据的顺序,然后再进行下一次取num_workers=0表示在主进程中加载数据而不使用任何额外的子进程,如果大于0,表示开启多个进程,进程越多,处理数据的速度越快,但是会使电脑性能下降,占用更多的内存drop_last=False表示不丢弃最后一个批次,假设我数据集有10个数据,我的batch_size=3,即每原创 2024-05-27 16:52:29 · 948 阅读 · 0 评论 -
Pytorch深度学习实践笔记7(b站刘二大人)
上述实验,我使用Adam前期可以比较迅速的收敛,使得loss收敛迅速,并且没有过拟合,一般Adam由于其特性出现过拟合的概率比SGD高。我用SGD优化器训练,训练了100万次才勉强达到Adam的1万次结果,由此可以看出Adam的收敛速度比SGD快很多,但是由于SGD的噪声比较大,而且其每次计算一个梯度或者一小批量的梯度,使得泛化能力强,适应于大型数据的训练中。原创 2024-05-27 11:29:30 · 992 阅读 · 0 评论 -
Pytorch深度学习实践笔记6(b站刘二大人)
softmax就是将一些大的数字拉伸到0~1之间,而且使得大的数所占的比例更大,小的数所占的比例更小,这样如果每一个原始的数据代表score的话,将其总分控制在0~1之间,可以进一步使用交叉熵函数来计算loss。 sigmoid原创 2024-05-26 13:31:07 · 957 阅读 · 0 评论 -
Pytorch深度学习实践笔记5(b站刘二大人)
使用Pytorch实现,步骤如下:PyTorch Fashion(风格) prepare dataset design model using Class ,前向传播,计算y_pred Construct loss and optimizer,计算loss,Optimizer 更新w Training cycle (forward,backward,update)原创 2024-05-26 01:00:36 · 907 阅读 · 0 评论 -
Pytorch深度学习实践笔记4(b站刘二大人)
Back propagation (BP),训练神经网络的目标是优化代价函数cost,使得cost找到以一个全局或者局部最优值。让cost尽可能的接近0,这样得到的weights和bias是最好的,由于需要不断的调整参数让cost收敛,cost在梯度的相反反向下降最快,所以提出了BP算法,就是来计算weights和bias的梯度(偏导数的,加速训练时的收敛速度,避免无效的训练。原创 2024-05-24 19:06:21 · 890 阅读 · 0 评论 -
Pytorch深度学习实践笔记3(b站刘二大人)
mini-batch GD采取了一个折中的方法,每次选取一定数目(mini-batch)的样本组成一个小批量样本,然后用这个小批量来更新梯度,这样不仅可以减少计算成本,还可以提高算法稳定性。原创 2024-05-24 15:11:51 · 1299 阅读 · 0 评论 -
Pytorch深度学习实践笔记2(b站刘二大人)
监督学习(supervised learning):打标签的数据无监督学习:无标注数据,模型自己去学习数据的特征,输出参数,然后推理输出原创 2024-05-24 15:07:33 · 996 阅读 · 0 评论 -
Pytorch深度学习实践笔记1(b站刘二大人)
多层感知机(MLPs):输入层、隐藏层、输出层构成输入层:接收数据隐藏层:通过学习特征,forward,loss,激活函数,bp、优化器更新参数输出层:输出满足一定训练后的参数、weights 和bias反向传播:Back Propagation (链式求导法则,比较简单)原创 2024-05-24 14:58:09 · 735 阅读 · 0 评论