深度学习基础
文章平均质量分 82
深度学习基础
西笑生
西笑生
展开
-
深度学习基础 - 直线
深度学习的基础 - 直线邵盛松高中教科书《数学2 必修》中的《直线的方程》74页点斜式方程k=y2−y1x2−x1k = \frac { y _ { 2 } - y _ { 1 } } { x _ { 2 } - x _ { 1 } }k=x2−x1y2−y1y2−y1=k(x2−x1)y_2 - y _ { 1 } = k \left( x_2 - x _ { 1 } ...原创 2019-03-14 21:52:56 · 1374 阅读 · 0 评论 -
深度学习基础 - 梯度垂直于等高线的切线
flyfish原创 2024-08-09 18:09:26 · 743 阅读 · 0 评论 -
深度学习基础 - 向量投影
flyfish原创 2024-08-09 18:08:02 · 1087 阅读 · 0 评论 -
一阶优化算法(如梯度下降)和二阶优化算法(如牛顿法)与泰勒级数
flyfish原创 2024-07-14 14:00:10 · 940 阅读 · 0 评论 -
Eigen中的array() square() asDiagonal()
flyfish原创 2024-06-18 20:13:59 · 358 阅读 · 0 评论 -
普通的矩阵乘法和Strassen矩阵乘法算法的比较 代码是C++实现
flyfish原创 2024-07-24 19:28:53 · 1002 阅读 · 0 评论 -
onnxruntime 推理分类模型 以resnet为例
flyfish原创 2024-07-17 19:12:55 · 324 阅读 · 0 评论 -
Eigen中 Row-Major 和 Column-Major 存储顺序的区别
flyfish原创 2024-06-18 20:00:21 · 684 阅读 · 0 评论 -
计算神经网络中梯度的核心机制 - 反向传播(backpropagation)算法(1)
flyfish原创 2024-06-29 11:46:09 · 1037 阅读 · 1 评论 -
softmax 函数的多种实现方式 包括纯C语言、C++版本、Eigen版本等
flyfish原创 2024-07-17 19:07:06 · 483 阅读 · 0 评论 -
Softmax用于二分类时会退化为Sigmoid
flyfish原创 2024-07-17 19:08:56 · 1017 阅读 · 0 评论 -
支持向量机 (support vector machine,SVM)
支持向量机 support vector machine原创 2024-07-08 18:41:37 · 1089 阅读 · 0 评论 -
香橙派 AIpro 昇腾 Ascend C++ 分类模型适配
模型的处理查看香橙派 AIpro SoC版本根据上面查看到SoC版本是 310B4,在转换模型时选择Ascend310B4在硬件上可以加装一块固态盘,装上之后开机自动识别。原创 2024-05-28 18:58:21 · 1361 阅读 · 0 评论 -
封装 H.264 视频为 FLV 格式然后推流
flyfish原创 2024-04-26 19:59:15 · 1478 阅读 · 1 评论 -
目标检测 YOLOv5 - 推理时的数据增强
实际使用中使用了大中小三个不同分辨率,中间大小分辨率的图像进行了左右反转。验证图像大小是每个维度上的stride的倍数,默认是32的倍数。在训练时可以使用数据增强,在推理阶段也可以使用数据增强。416 * 544 宽度W 高度H 比例为0.83。352 * 448 宽度W 高度H 比例为0.67。480 * 640 宽度W 高度H 比例为1。目标检测 YOLOv5 推理时的数据增强。原来推理一张图像,增强后是推理3张。是缩放比例,且能被32整除。合并去冗余之后再进NMS。推理时默认不使用增强。原创 2023-12-29 18:30:17 · 1014 阅读 · 0 评论 -
卷积的计算 - im2col 3
im2col与之前不同的是改变下输出的形状,用作矩阵乘法,结果与torch.nn.Conv2d相同。卷积的计算 - im2col 3。PyTorch对比测试。原创 2023-12-18 12:03:07 · 166 阅读 · 0 评论 -
卷积的计算 - im2col 2
卷积的计算 - im2col 2。卷积核是3*3 ,K =3。图中 Input的值是。经过im2co结果是。原创 2023-12-16 20:40:22 · 149 阅读 · 0 评论 -
卷积的计算 - im2col 1
卷积的计算 - im2col。原创 2023-12-16 15:24:03 · 245 阅读 · 0 评论 -
卷积的计算 - numpy的实现 2
卷积的计算 - np的实现。使用纯numpy实现。原创 2023-12-13 15:00:21 · 292 阅读 · 0 评论 -
卷积的计算 - numpy的实现 1
后面使用array类型中的和元素乘法即 * 或者 multiply 实现。卷积的计算 - numpy的实现 1。类型是 matrix的情况下。类型是 array的情况下。原创 2023-12-13 14:59:16 · 140 阅读 · 0 评论 -
粒子群优化算法的实践 - 多个约束条件
u是否定,返回False,是否定,双重否定表肯定。粒子群优化算法的实践 - 多个约束条件。原创 2023-12-07 14:21:52 · 666 阅读 · 0 评论 -
粒子群优化算法的实践 - 目标函数的可视化
后面做的事情是找到这个函数的极小点,采用动画的方式,在等高线上绘画出来。粒子群优化算法的实践 - 目标函数的可视化。原创 2023-12-07 10:57:11 · 197 阅读 · 0 评论 -
粒子群优化算法的实践 - 向量减法
梭鱼呢,就在水里猛蹬腿,试图用水流推动车子;大虾就更逗了,它在陆地上一蹦一跳的,想要靠自己的弹跳力移动车子。天鹅整天在天上飞来飞去,觉得自己可牛了;梭鱼呢,在水里游得欢实得很,觉得自己的力气也不小;至于大虾嘛,虽然跳不高,但还是觉得自己挺能耐的。天鹅、梭鱼与大虾,天鹅乃飞禽之王,梭鱼为水族之尊,大虾则是河川之灵。三者皆欲以己之力拉动之,然而,各自行事,车终不前。话说有一辆神车,这车啊,就是不动弹,谁也别想把它弄走。好了,这时候呢,有三个家伙出场了:天鹅、梭鱼和大虾。粒子群优化算法的实践 - 向量减法。原创 2023-12-06 14:09:25 · 106 阅读 · 0 评论 -
《深度学习与目标检测 YOLOv5》
flyfish原创 2022-11-16 17:52:03 · 4185 阅读 · 4 评论 -
交叉熵在深度学习中的实践应用
交叉熵在深度学习中的实践应用flyfish理论说明一张图说明Multi-Class 分类 和Multi-Label 分类的区别假设一共有C类,这样一共有3类,一张图里只有一个目标,表示label的向量里只有一个1这是Multi-Class,正类(positive class) 只有一个, 有C−1个负类( negative classes)假设一共有3类,一张图里有多个目标,表示label的向量里有多个1,也就是正类(positive class)可以有多个这是Multi-Label。代码原创 2020-05-28 20:43:14 · 1446 阅读 · 0 评论 -
可视化梯度下降
Python可视化梯度下降flyfish从简单开始函数是y=(x−5)2+2y=(x-5)^2+2y=(x−5)2+2红叉表示梯度下降的起点x=0.5050505050505051x=0.5050505050505051x=0.5050505050505051y=22.204570962146718y=22.204570962146718y=22.204570962146718x轴代表的是我们待学习的参数θ(theta),y轴代表的是损失函数的值(即Loss值),曲线y代表的是损失函数。我原创 2021-11-25 19:59:10 · 1720 阅读 · 0 评论 -
从小学4年级的数学课开始解释线性回归
英国的统计学家高尔顿(Francis Galton)用统计方法研究两个变量之间关系。他研究父母身高与子女身高之间的关系,“回归”这个词由他引入的。大意是一般情况下爹妈高,孩子高;爹妈矮,孩子矮。这样拟合出了很好看的线性关系。但是,这里是有但是的,爹妈矮,孩子也不会一直比上辈矮下去。爹妈高,孩子也不会一直比上辈高,要不到处都是巨人。好像大自然有一种力量让这些人的身高朝着平均身高去长,即有“回归”到平均数的趋势。回归一词就是这么来的,今天线性回归比以前的含义要丰富些。以预测房屋的价格(元)作为例子来解释线性回原创 2021-11-10 21:08:30 · 2515 阅读 · 2 评论 -
从线性回归到逻辑回归解决分类问题
关于一个分类任务,例如一个苹果是红富士苹果还是乔纳金苹果,这里用0和1表示。如果用线性回归解决,预测值就超过0或者1了。我们期望预测值不能超过0或者1,这种分类任务可以用逻辑回归解决。解决这个问题的一种方法是使用sigmoid函数将线性函数的输出压缩进区间(0,1)。原创 2018-03-17 09:07:59 · 5214 阅读 · 0 评论 -
梯度下降背后的原理
梯度下降为什么会有学习率?为什么负梯度方向是使函数值下降最快的方向?为什么梯度的方向是函数值增加最快的方向?这些问题的背后都指向了梯度下降原理。原创 2018-04-14 15:55:20 · 3405 阅读 · 0 评论 -
手工计算深度学习模型是如何更新参数的
x 是[1,2,3][1,2,3][1,2,3], y 是[3,5,7][3,5,7][3,5,7]程序输出。原创 2022-08-19 21:16:03 · 1017 阅读 · 1 评论 -
深度学习基础 - 牛顿法
之前介绍了梯度下降方法,此次介绍的是牛顿法牛顿法 还有其他名字牛顿迭代法Newton's method牛顿-拉夫逊方法Newton-Raphson method原创 2022-08-12 21:17:12 · 832 阅读 · 0 评论 -
NVIDIA cuDNN 下载
NVIDIA cuDNN 下载flyfishCUDA Toolkit的下载无需注册cuDNN(CUDA Deep Neural Network library)的下载需要注册以下已经存储到网盘,可以从网盘下载,无需注册下载cuDNN如果列表有您想要的,看最后的下载地址libcudnn7-dev_7.3.0.29-1+cuda10.0_amd64.deblibcudnn7-dev_7.3.1.20-1+cuda10.0_amd64.deblibcudnn7-dev_7.4.1.5-1+cuda原创 2021-12-16 17:29:54 · 2387 阅读 · 0 评论 -
L1和L2范数,L1和L2损失函数,L1和L2正则化
实现L1和L2损失函数flyfishL1的式子 L1(y^,y)=∑i=0m|y(i)−y^(i)|L1(y^,y)=∑i=0m|y(i)−y^(i)|\begin{align*} & L_1(\hat{y}, y) = \sum_{i=0}^m|y^{(i)} - \hat{y}^{(i)}| \end{align*} L2的式子 L2(y^,y)=∑i=0m(y(i)−y^(i)...原创 2018-03-18 16:48:16 · 4691 阅读 · 0 评论 -
深度学习基础 - 梯度下降
一个梯度下降算法的例子flyfish gradient descent函数是f(x)=x**4-3*x**3+2 python写法f(x)=x^4-3*(x^3)+2 C++ 写法导数是 f’(x)=4*x**3-9*x**2x从-50到50的图像 x从-5到5的图像 import numpy as npimport matplotlib.pyplot as pltx=np.arang原创 2017-01-24 10:45:37 · 9461 阅读 · 2 评论 -
深度学习基础 - 前向传播和反向传播
前向传播和反向传播从一个简单的数学表达式开始1+2=31+2=31+2=3把常量换成变量,如下x+y=zx+y=zx+y=z这是数学表达式的方式我们再换种计算图的方式,如下前向传播反向传播这是加法,左边是前向传播,右边是反向传播这是乘法,左边是前向传播,右边是反向传播代码实现class multiplication_layer: def __init__(self): self.x = None self.y = None de原创 2020-10-10 19:41:39 · 2065 阅读 · 1 评论 -
深度学习的基础 - 导数是什么 - 微分是什么 - 导数和微分有什么区别 - 微分解决什么问题
导数和微分有什么区别答案在如下一副图中导数和微分 在不同时期有不同的定义三种微积分牛顿和莱布尼茨时代的微积分称之为古典微积分柯西和维尔斯特拉斯时代的微分称为极限微积分20世纪60年代鲁滨逊时期的微积分在非标准分析中。教科书高等数学用的是极限微积分。古典微积分是上存在bug的,而且是引发第二次数学危机的问题。我们先从严谨的极限微积分说起,在反过来说古典微积分的问题出在什么地方。关于导数和微分这两种微积分中是谁是基础的问题在极限微积分中先有极限再有导数后有微分。先有导数再有切线。数列-》极原创 2020-09-18 19:48:17 · 996 阅读 · 0 评论 -
一文看不懂方差和标准差
标准差和方差测量狗的高度(毫米)高度(在肩部)为:600mm,470mm,170mm,430mm和300mm。找出均值(Mean),方差(Variance)和标准偏差((Standard Deviation)。mean在就是average的意思表示平均水平第一步是找到均值: Mean =600+470+170+430+3005=19705=394\begin{aligned}\text { Mean } &=\frac{600+470+170+430+300}{5原创 2020-09-11 19:41:01 · 8487 阅读 · 0 评论 -
深度学习基础 - 单位向量
空间中的向量flyfish 笔记有向线段AB→\vec{AB}有起点A和终点B;它的长度用|AB→||\vec{AB}|表示.如果平面上的一个向量v等于起点在原点(0,0)(0,0),终点在(v1,v2)(v_1,v_2)的向量,则v的分量形式是v=v=这样一个平面向量也就是实数的有序对,数v1v_1和v2v_2是v的分量, 向量...............................................................原创 2017-12-02 16:27:40 · 4822 阅读 · 0 评论 -
深度学习基础 - 概率的三个公理
深度学习基础 - 概率的三个公理flyfish对于公理的内容 ,不敢有一丝一毫的更改。改公理,再建立另一套体系那都是大神级别的人物。曾经“概率”的定义是不清晰的,拉普拉斯的古典概率有bug。1925年22岁的柯尔莫哥洛夫发表了概率论领域的第一篇论文,30岁时出版了《概率论基础》一书,将概率论建立在严格的公理基础上,从此概率论正式成为了一个严格的数学分支,要严谨就得有公理。概率的三个公理如下...原创 2020-01-06 20:06:10 · 6108 阅读 · 0 评论 -
深度学习基础 - 累加符号和连乘符号
flyfish原创 2019-12-31 20:13:32 · 21062 阅读 · 2 评论