神经网络
文章平均质量分 79
万物琴弦光锥之外
复杂的世界需要简单的东西,专业不一定复杂,简单才是终极
展开
-
2024-简单点-torch积累
是 PyTorch 中的一个重要类,它提供了一个可迭代的数据加载器,可以方便地批量加载数据,并自动进行多进程数据加载、批处理、打乱数据(shuffling)等操作。在训练循环中,你需要进行前向传播以计算预测值和损失,然后执行反向传播以计算梯度,并使用优化器的。是 PyTorch 中的一个功能模块,它包含了一系列用于定义神经网络操作的函数。是 PyTorch 中的一个功能模块,它包含了一系列用于定义神经网络操作的函数。是 PyTorch 中用于构建神经网络模型的两个重要组件,它们各自具有不同的特点和用途。原创 2024-04-30 14:56:18 · 699 阅读 · 0 评论 -
2023-简单点-yolox-pytorch代码解析(三)-nets/yolo_training.py
而不是直接使用IoU,主要是出于稳定性和优化考虑。使用IoU的平方(IoU^2)作为损失函数,原创 2023-12-01 15:53:13 · 11572 阅读 · 0 评论 -
2023-简单点-yolox-pytorch代码解析(二)-nets/yolo.py
【代码】2023-简单点-yolox-pytorch代码解析(二)-nets/yolo.py。原创 2023-11-30 15:31:30 · 14071 阅读 · 0 评论 -
2023年亲测有效----树莓派启动时自动邮件上报ip
树莓派 ip 上报原创 2023-09-06 16:12:41 · 10178 阅读 · 1 评论 -
2023-简单点-树莓派-camera module 3介绍
树莓派镜像在Bullseye版本之后,底层的树莓派驱动由Raspicam切换成libcamera。libcamera是一个开源的软件栈(后面会称为驱动,方便理解),方便于第三方移植和开发自己的摄像头驱动。截止到20230207,官方已经针对libcamera提供了pycamera2库,方便用户使用Python程序调用。原创 2023-11-30 10:29:59 · 15776 阅读 · 0 评论 -
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]
sigmoid函数可以将输入映射到0-1之间,常用于机器学习和深度学习中的激活函数。因此,logistic函数可以用于将输入映射到0或1之间。常用的激活函数,其实也是特殊的logistic函数。特殊点记忆: 经过 [0 , 1]定义域:【负无穷,正无穷】原创 2023-11-28 16:26:12 · 17861 阅读 · 0 评论 -
2023-简单点-机器学习中矩阵向量求导
逮着向量中的标量进行求导:总结一下, 转化为对每一标量求导,然后进行布局。大家自己推一推巩固一下。原创 2023-11-28 14:20:33 · 17723 阅读 · 0 评论 -
2023-简单点-机器学习中的数值计算问题
当网络层数较深时,梯度可能在传播过程中逐渐消失(变得非常小)或爆炸(变得非常大),导致模型参数更新困难或不稳定。病态条件通常出现在需要求解逆矩阵或进行特征值分解的场合。当矩阵的条件数很大时(即矩阵的最大特征值和最小特征值之比很大),矩阵求逆或特征值分解会变得不稳定,导致数值计算问题。例如,在softmax函数中,当输入的数值很大时,指数运算的结果可能非常大,导致上溢。下溢:相反,当输入值过小,计算结果可能趋近于零,导致下溢。例如,在对数似然损失函数中,当预测概率接近零时,对数运算可能导致下溢。原创 2023-11-28 11:24:59 · 17173 阅读 · 0 评论 -
PyTorch的Modules的使用
传送门原创 2021-03-18 16:29:04 · 8755 阅读 · 0 评论 -
PyTorch的广播机制
广播机制的语法三点1. 从内到外追溯比如 (1,2,3,4) 的追溯顺序为4, 3, 2 然后 1,也就是追溯他的存储结构。底层先存储4, 然后。。。(z, y, x)这么记忆吧2.张量必须有一个维度3.追溯过程中,要么两张量,维度大小一样 或者 其中一个为1 又或者 其中一个没有维度。>>> x=torch.empty(5,7,3)>>> y=torch.empty(5,7,3)# same shapes are always broadcastab原创 2021-03-18 15:23:42 · 8272 阅读 · 0 评论 -
PyTorch的 autograd
AutoGrad简介从概念上讲,autograd记录一个图,记录在您执行操作时创建数据的所有操作,从而为您提供一个有向无环图,其叶是输入张量,根是输出张量。通过从根到叶跟踪这个图,您可以使用链式法则自动计算梯度。AutoGrad机制 有助于自动求梯度每个张量都有一个flag:requires_grad,允许从梯度计算中具体的排除某些子图,并可以提高效率。输入变量中,只要有存在requires_grad = True的情况,那么输出变量的requires_grad 标志就为 True>>原创 2021-03-18 14:41:51 · 6271 阅读 · 1 评论 -
L1,L2正则有何用?线性代数意义,贝叶斯先验和实际意义
http://blog.csdn.net/pipisorry/article/details/52108040机器学习和深度学习常用的规则化方法之一:L范数正则化(规格化)。一般来说,监督学习可以看做最小化下面的目标函数):规则项Ω(w) loss项可参考[机器学习算法及其损失函数 ...转载 2020-08-29 15:28:46 · 4857 阅读 · 0 评论 -
反向传播,卷积的反向传播,池化的反向传播
卷积层如何反向传播?重点在 需要旋转 kernel 180度池化的反向传播直接对应位置,返回误差!BN层反向传播梯度计算过程原创 2020-08-26 10:29:42 · 3672 阅读 · 0 评论 -
python每日学习一小时之更新
Python百科110题GIL是什么?如何把一个字典和另外一个字典合并?列表去重?`*args`和 `**kwargs `?python2和python3中的range什么情况可以用装饰器?`__new__,__call__和__init__?`with open语句等价于做了什么?map的使用python中生成随机整数、随机小数、0-1之间小数方法未完待续...110题GIL是什么?GIL 是Global Interpreter Lock 全局解释锁python其实可以很多解释环境:CPytho原创 2020-08-25 11:08:57 · 3687 阅读 · 0 评论 -
机器学习 手写字母项目 程序知识总结
with open() as fpython openr: 就是默认的 读w: 写之前,清除文件内内容。b: 二进制Bytes。 未解码成strt: str 已经解码过,可阅读文字+: 用于更新。a: 尾+pickle模块 pickle 实现了对一个 Python 对象结构的二进制序列化和反序列化。 “pickling” 是将 Python 对象及其所拥有的层次结构转化为一个字节流的过程,而 “unpickling” 是相反的操作,会将(来自一个 binary file 或者 bytes原创 2020-07-18 15:43:03 · 789 阅读 · 0 评论 -
深入浅出pytorch -批归一化?如何卷积?如何转置卷积?
基础图像变换操作1 空间域Gamma Correction 伽马校正v′=αvγv' = \alpha v^{\gamma}v′=αvγ第一:图像像素值代表着亮度(Brightness)第二:γ>1\gamma>1γ>1的时候,高亮度区域的变化即细节增加,低亮度细节减少。sober算子边缘检测具体可以搜索百度百科2 频域傅里叶变化高频为细节,为轮廓。低通滤波可以过滤细节。图像特征提取SIFT:scale-invariant feature Trans原创 2020-07-09 19:00:49 · 875 阅读 · 0 评论 -
深入浅出Pytorch--深度学习概览
1. 2015年,ILSVRCC比赛中,ResNet错误率首次降到5%以下,战胜了人类。2. 机器学习中数据的类型图片文本音频数据RGB / RGBA字符串通用格式:16bit 振幅44.1kHz采样频率图片:1. 包含了很多像素点,一个像素一个字节,值为0~2552. 图像处理中,处理不同图片大小,resize可以用最近邻插值,双线性插值法。3. 处理流程图图片数据增强单张图片的归一化数据集尺度的归一化HSV: Hue(色相),Saturation(饱和度),V(Brightness Va原创 2020-07-06 13:11:55 · 884 阅读 · 0 评论 -
YOLO,你想知道的都在这
YOLO英文原文预测中心为以标签框的中心格子Being a FCN, YOLO is invariant to the size of the input image.无视图片大小。但是,实际上,由于各种问题,我们可能希望保持不变的输入大小,而这些问题只会在实现算法时浮出水面。In YOLO, the prediction is done by using a convolutional layer that uses 1 x 1 convolutions.Feature map通过最后原创 2020-08-05 15:25:42 · 1136 阅读 · 6 评论 -
SSD架构,你不来看看么?
SSD前言总结SSD骨架网络结构SSD特征提取网络结构锚点框Anchor Boxes和选框预测SSD骨架网络结构SSD特征提取网络结构锚点框Anchor Boxes和选框预测如何根据特征图中的点计算原图中的坐标?那知道了原图中对应的中心点坐标,如何知道对应原输入图像中的宽高呢?我们求到了输入原始图像中,真实框的大小和坐标(x,y,w,h), 然后和神经网络预测的框直接求误差?前言总结SSD骨架网络结构VGG16部分作为特征提取SSD特征提取网络结构SD300 也叫 VGG16Extracto原创 2020-08-16 10:52:29 · 572 阅读 · 0 评论 -
转:深度可分离卷积与其计算量实例
开篇总结:图片转自 下面这个文章介绍了深度可分离卷积是怎么做的:https://towardsdatascience.com/a-basic-introdu转载 2020-08-04 09:38:25 · 1134 阅读 · 0 评论 -
Colab部署YoloV3-tiny识别口罩
Yolo 口罩识别Ultralytics Pytorch 实现detect.py功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入...原创 2020-08-15 10:07:25 · 478 阅读 · 0 评论 -
深入浅出pytorch-02 pytorch深度学习框架简介
张量k维度张量,维度为(n1,n2,...,nk)(n_1, n_2,...,n_k)(n1,n2,...,nk)存储顺序是一般从nkn_knk开始:先填满nk,nk−1,nk−1,...,n1n_k, n_{k-1}, n_{k-1}, ..., n_1nk,nk−1,nk−1,...,n1,一个元素张量中的下标为(i1,i2,i3,...,ik)(i_1, i_2, i_3, ..., i_k)(i1,i2,i3,...,ik), 那么它在内存中是第(ik)+(ik−1∗原创 2020-07-07 13:11:16 · 1114 阅读 · 0 评论 -
信息量,熵,交叉熵,KL散度的手写总结
大致过程首先上图,简单的神经网络:1 输出的y向量经过softmax变成概率分布向量也意味着,你只可能是属于1类,因为通常你选择最大概率对应的类别作为预测类别。但是实际中如果出现,人和女人这种类别,有包含关系,最好用逻辑回归。!注意:softmax 只有两种类别时候就是逻辑斯特回归!2 对应于真实的标签分布,计算交叉熵。注意: KL散度类似于"距离",但不是距离。距离定义是dist(a,b) = dist(b,a)。可以理解为KL是比较用q表示p的信息损失程度,越小越好,最小为0原创 2020-08-14 10:18:13 · 613 阅读 · 0 评论 -
Sklearn 和 torch 常用的函数和库
Sklearnfrom sklearn import datasets #内置数据集from sklearn.model_selection import train_test_split #分测试集和训练集from sklearn.neighbors import KNeighborsClassifier #KNNfrom sklearn.linear_model import LinearRegression# 线性回归模型from sklearn import preprocessing原创 2020-08-13 19:42:18 · 1256 阅读 · 0 评论 -
Resnet-吴恩达学习笔记
main pathshort cut/skip connection总之,中间的网络层至少不会使得情况更坏,顶多没学,就是恒等。幸运的话,performance更好。原创 2020-08-05 18:57:35 · 453 阅读 · 0 评论 -
转:如何做卷积???通道是什么?
传送门卷积 在深度学习的算法学习中,都会提到 channels 这个概念。在一般的深度学习框架的 conv2d 中,如 t转载 2020-08-05 09:23:04 · 347 阅读 · 0 评论