学习沐神课程 自用深度学习笔记03 矩阵计算

最新推荐文章于 2024-10-15 10:20:47 发布
最新推荐文章于 2024-10-15 10:20:47 发布
阅读量128 收藏
点赞数
分类专栏： 学习沐神课程 自用深度学习笔记 文章标签： 学习 深度学习 矩阵 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57031466/article/details/124973959
版权

矩阵计算

  1. 标量导数(高中内容)

请添加图片描述

  1. 亚导数

    ​ 在函数不可微的时候，将导数进行拓展，在进行数据分析时导数较为关键，我们需要对不可导的点进行拓展，相当于进行求导操作时对不可导的元素进行特殊处理。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JYnxxlUN-1653484224848)(C:\Users\13097\AppData\Roaming\Typora\typora-user-images\image-20220525203112260.png)]

  1. 梯度

    ​ 将导数拓展到向量，梯度是一个比较深层的内容，学校的数分、高数等课程直接没有讲，但从导学以及看的一些浅显的内容来看，梯度在机器学习深度学习里还是一个比较重要的名词。

在这里插入图片描述

​ 对梯度的理解：梯度指向的方向是函数值变化最大的方向，在平面中，梯度方向与等高线正交，高维可类似理解。这是所有的机器学习求解的核心思想。

​ 分子布局方法：不加说明的向量为列向量，当列向量在分母，分子为标量时转换为行向量。

​ 一些向量关于向量求梯度的结果（最好记住）

​ 沐神紧接着讲了拓展到矩阵的情形，其实多看几遍是可以理解其中的意思的，在分子的张量的轴不会改变，在分母的往往是需要变化的。

在这里插入图片描述

​

Beerand
关注
专栏目录
学习沐神课程 自用深度学习笔记04 自动求导
m0_57031466的博客
05-26 345
自动求导 储备知识:数分\高数 链式法则求导 将链式法则拓展到向量 注意求导之后的形状问题 两个例子 注意内积关于向量求导时相当于标量关于向量求导，需要变换位置（分子布局） 其它的并不难 在前面讲矩阵计算时有2-norm的求导，关于X*w关于w求梯度时，按照分子布局得到的结果是X，分母布局得到的结果是X的转置，搞清楚一点：两个向量求梯度时，谁布局就是以谁作为列向量 自动求导：计算一个函数在指定值上的导数 即自动求导是得到一个数值解？ 计算图的概念 将代码分解成操作子 再表示成无环图 即将原有的链式法则
学习沐神课程 自用深度学习笔记05 线性回归&基础优化算法
m0_57031466的博客
06-02 152
介绍基本的线性回归算法及其实现
学习沐神课程 自用深度学习笔记02 线性代数
m0_57031466的博客
05-25 105
线性代数 具体实现 标量 import torch x = torch.tensor(3.0) # 由一个元素3组成的张量 y = torch.tensor(2.0) # 由一个元素4组成的张量 x + y, x * y, x / y, x**y # 标量可以进行基本运算 result: (tensor(5.), tensor(6.), tensor(1.5000), tensor(9.)) 向量 通过张量的索引来访问任意元素 x = torch.arange(4) # x = [
【自用】深度学习笔记（动手学深度学习PyTorch版）
qq_64032044的博客
05-29 1038
持续更新
纽约大学深度学习PyTorch课程笔记（自用）Week5
weixin_43589205的博客
07-29 1355
纽约大学深度学习PyTorch课程笔记
纽约大学深度学习PyTorch课程笔记（自用）Week1
weixin_43589205的博客
07-09 851
纽约大学深度学习PyTorch课程笔记
纽约大学深度学习PyTorch课程笔记（自用）Week3
weixin_43589205的博客
07-23 578
纽约大学深度学习PyTorch课程笔记
纽约大学深度学习PyTorch课程笔记（自用）Week6
weixin_43589205的博客
08-10 745
纽约大学深度学习PyTorch课程笔记
机器学习与深度学习自用笔记
weixin_52950958的博客
08-24 457
机器学习与深度学习自用笔记
神经网络与深度学习-课后习题
using namespace 数学工具构造器;
02-22 2966
文章目录2 机器学习概述习题2-1 分析为什么平方损失函数不适用于分类问题．习题2-2 线性回归的权重习题2-3 XXTXX^TXXT的秩2-4 结构风险最小化 最小二乘估计 岭回归2-5 最大似然估计与最小二乘估计在标签服从高斯分布时等价2.6 最大似然估计与最大后验估计2.9 欠拟合→高偏差，过拟合→高方差2.11 N-gram3 线性模型多分类Logistic RegressionSoftmax Regression感知机支持向量机y⋅y^y\cdot \hat{y}y⋅y^​ 形式的损失函数LR S
games101自用笔记
03-22
【games101自用笔记】是一份个人学习记录，主要涵盖了games101课程中的图形学知识。games101通常指的是一个基础的计算机图形学课程，旨在介绍图形学的基本概念、算法和技术，为游戏开发、动画制作、虚拟现实等领域...
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1168
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
10.9学习日志
m0_74998557的博客
10-09 1085
定积分表示函数 f(x)在区间 [a,b]上的累积效应或面积。分割区间： 将区间 [a,b]分割成 n 个小区间，每个小区间的长度为 Δxi，其中，且 x0=a，xn=b。取样本点： 在每个小区间内取一个样本点 ξi。构造黎曼和： 构造黎曼和，表示函数 f(x) 在区间 [a,b]上的近似累积效应或面积。取极限： 当分割的区间数 n 趋向于无穷大，且每个小区间的长度 Δxi趋向于零时，黎曼和的极限即为定积分：说明：黎曼和是通过将区间 [a,b]分成 n 个等宽的子区间，每个子区间的宽度为。
MySQL数据库的详细学习步骤
2401_87352036的博客
10-11 1199
MySQL数据库的详细学习步骤可以归纳为以下几个阶段，每个阶段都包含了特定的学习内容和目标。
springboot实战学习（12）(优化更新用户基本信息接口)(Validation实体参数校验)
岁岁岁平安的博客
10-09 1006
本篇博客主要是对用户模块的更新用户基本信息接口的代码的一个小优化（实体参数校验）。其中用到了Spring Validation参数校验框架提供的一些注解（如@NotNull、@NotEmpty、@Email、@Validated）去完成实体类对象的参数校验以及完成了功能的测试...
如何用3个月零基础入门网络安全？_网络安全零基础怎么学习
最新发布
2401_84466224的博客
10-15 720
我们知道计算机最早是在西方发明出来的，很多名词或者代码都是英文的，甚至现有的一些教程最初也是英文原版翻译过来的，而且一个漏洞被发现到翻译成中文一般需要一个星期的时间，在这个时间差上漏洞可能都修补了。”答案是否定的，黑客用的电脑,不需要什么高的配置,只要稳定就行.因为黑客所使用的一些程序,低端CPU也可以很好的运行,而且不占什么内存.还有一个,黑客是在DOS命令下对进行的,所以电脑能使用到最佳状态!观看学习近十年所有0day挖掘的帖，然后搭建环境，去复现漏洞，去思考学习笔者的挖洞思维，培养自己的渗透思维。
【PHP小课堂】一起学习PHP中的反射（一）
硬核项目经理
10-14 980
一起学习PHP中的反射（一）反射这个名词相信大家不会陌生，但反过来说，这个反射到底是一个什么概念呢？其实反射，就是通过一些方法函数，来获得一个类或者一个实例化对象中的一些信息。当然，更重要的是，它可以是在运行时来动态获取这些信息的。这样的话，有很多功能就可以通过反射来实现了。比如说 Java 中的注解，在一些 PHP 的框架中，要实现类似的注解功能，就是通过反射来获得注释中的信息来实现的。大家可以...
2024年网络安全进阶学习路径-2024年进阶学习指南
2401_85026965的博客
10-10 2084
网络安全可以基于攻击和防御视角来分类，我们经常听到的 “红队”、“渗透测试” 等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。走安全行业的工程方向的，技术上面其实有很大的重叠性，抛开甲乙方、岗位名称、岗位职责等因素来看，作为学技术的，也根据以往我们给学员推荐就业和入职情况来看，只要好好掌握以下几种技术（网络协议与安全设备、Linux操作系统、Web服务部署/开发、主流渗透测试/安全工具、一门及以上的编程语言）中的2到3个，都可以较好的胜任工作需求。
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 391
论文创新点，将注意力机制 和卷积 相结合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值