tuple和tensor的主要区别；Hugging Face；LoRA（Low-Rank Adaptation，低秩适配器）；Adam和LoRA在原理的区别；嵌入词向量128维，3头训练和MLP哪个权

于 2024-08-09 13:17:38 发布
阅读量153 收藏
点赞数 6
分类专栏： 教学 2024算力共享 2021 论文 文章标签： 智能电视
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/141058719
版权
教学 同时被 3 个专栏收录
282 篇文章 23 订阅 ¥99.90 ¥299.90
订阅专栏
2021 论文
216 篇文章 3 订阅 ¥199.90 ¥299.90
订阅专栏
2024算力共享
108 篇文章 0 订阅 ¥199.90 ¥299.90
订阅专栏 超级会员免费看

目录

tuple和tensor的主要区别

参数解释

返回值

异常

函数流程

Hugging Face

Hugging Face概述

Hugging Face的特点

举例说明

LoRA（Low-Rank Adaptation，低秩适配器）

定义与原理

优势

应用场景

未来发展

Adam和LoRA在原理的区别

Adam原理

LoRA原理

总结

LoRA针对多头训练还是MLP？

在多头注意力模块中的应用

在MLP层中的应用

结论

嵌入词向量128维，3头训练和MLP哪个权重参数更多

1. 嵌入词向量（Embedding Layer）

2. 3头训练（通常指多头注意力机制）

3. MLP（多层感知机）

综合比较

tuple和tensor的主要区别

在于它们的用途、‌结构和操作。‌

  •  

    用途：‌tuple（‌元组）‌是一种不可变的序列类型，‌用于存储一系列有序的元素，‌这些元素可以是不同类型的对象。‌它通常用于存储一组值，‌这些值在创建后不能被修改。‌相比之下，‌tensor（‌张量）‌主要用于科学计算和数据处理，‌特别是在深度学习和机器学习领域。‌Tensor是一个多维数组，‌支持数学运算，‌如矩阵乘法等，‌常用于数值计算。‌

  •  

    结构：‌tuple由圆括号包围的元素组成，‌元素之间用逗号分隔，‌且tuple是不可变的，

了解本专栏 订阅专栏 解锁全文
ZhangJiQun&MXP
关注
专栏目录
订阅专栏
C类class和结构体struct区别-C教程共3页.pd
11-21
虽然“赚钱项目”这个文件名似乎与主题不直接相关，但在这里我们将主要关注C++中的`class`和`struct`的区别。 1. **默认访问修饰符**： - `struct`：在C++中，`struct`的成员默认是`public`的，这意味着它们在声明...
特征图输出类型 Tensor或Tuple
黎国溥
03-09 3149
最近在修改网络模型时，发现有些特征图输出的类型是Tensor，有的特征图输出的类型却是Tuple，一开始不知到为什么是这样的，苦恼了半天，后来上网查询后发现了基本的规律，本文分享一下。
修改特征图类型tuple转Tensor
黎国溥
03-04 6555
在修改模型结构时，本来想着简单替换主干网络，用轻量级结构的替换原来的复杂模型，但是过程没想象中的顺利；其中比较关键的一点是两个主干网络输出的特征图类型不一致。
python 中各类型介绍及相互转换 - list, array, tensor, dict, tuple, DataFrame
qq_40671063的博客
09-16 7439
python 中各类型介绍及相互转换 - list, array, tensor, dict, tuple, DataFrame;
pytorch的Tensor变量之间的转换
热门推荐
zhe_csdn的博客
06-25 1万+
系统默认是torch.FloatTensor类型 data = torch.Tensor(2,3)是一个2*3的张量，类型为FloatTensor data.cuda()就转换为GPU的张量类型，torch.cuda.FloatTensor类型 （1）CPU或GPU之间的张量转换 在Tensor后加long(), int(), double(),float(),byte()等函数就能将Tensor...
python基础——区分python中的列表(list),数组(array),元组(tuple),矩阵(matrix),张量(tensor,来自tensorflow)
据说大佬都喜欢黑色！
09-24 1247
由于我没有系统的学习过是直接看代码的，所以这些基础的概念理解的很模糊，查了之后参考下面大佬的概念，但是因为我是学习pytorch的，所以又查了pytorch中张量的概念和运用。 python学习笔记 一文读懂PyTorch张量基础（附代码） ...
record-tuple-polyfill:用于ECMAScript记录和元组提案的polyfill
05-02
记录和元组Polyfill ECMAScript提议向JavaScript引入了新的深度不可变的值类型，这些值类型对对象和数组具有相似的访问习惯用法。 这是一个针对Record and Tuple建议的实验性且显然不适合生产的polyfill，并且是...
proposal-record-tuple:关于Record和Tuple值类型的ECMAScript建议。 | 第二阶段
05-02
JavaScript记录和元组提案 作者： 罗宾·里卡德（彭博） 里克·巴顿（彭博） 尼古洛·里鲍多（通天塔） 冠军： 罗宾·里卡德（彭博） 里克·巴顿（彭博） 顾问 菲利普·邓克尔（彭博） 丹·埃伦贝格（伊...
Python中内置数据类型list,tuple,dict,set的区别和用法
09-21
本文将详细介绍四种主要的内置数据类型：list、tuple、dict和set，以及它们之间的区别和使用方法。 1. List（列表） 列表是Python中最常用的数据类型之一，它是一个有序的元素集合，可以包含不同类型的元素，如...
浅析Python中元祖、列表和字典的区别
09-21
在Python编程语言中，列表、元组和字典是三种主要的数据结构，它们各自具有独特的特性和用途。本文将深入探讨这三种数据结构，并通过实例演示来帮助理解它们之间的差异。 1. 列表（list） 列表是Python中最常用的...
Python之使用list和tuple共7页.pdf.zi
10-31
在Python编程语言中，列表（List）和元组（Tuple）是两种非常基础且重要的数据结构，它们在存储和组织数据方面发挥着关键作用。本资料"Python之使用list和tuple共7页.pdf"深入探讨了这两种数据类型的特性和用法，...
详谈Python中列表list,元祖tuple和numpy中的array区别
09-20
在Python中，列表list、元祖tuple和numpy的array是常用的数据结构，它们各自有不同的特点和用途。理解它们的区别对于编写高效、正确的代码非常重要。 首先，列表（list）是一种可变的数据结构，它可以存储有序的...
Python-Python描述的数据结构和算法
08-10
在Python中，数据结构和算法是核心概念，它们对于高效地编写代码和解决复杂问题至关重要。本篇将深入探讨Python中的主要数据结构，如列表、元组、集合、字典，以及常用的算法，包括排序、搜索和图论等。 1. **数据...
py代码-list和tuple
07-16
在Python编程语言中，`list`和`tuple`是两种非常重要的数据结构，它们用于存储和组织多个元素。本文将深入探讨这两种数据类型的特点、用途、操作方式以及它们之间的区别。 ## list（列表） 列表是Python中最常用的...
Python中列表和元组的使用方法和区别详解
09-21
在Python编程语言中，列表和元组是两种重要的数据结构，它们都用于存储有序的数据集合。然而，两者之间存在显著的区别，这些差异在实际编程中影响着如何选择使用它们。 **列表(List)** 1. **可变性(Mutable)**：...
tf.tuple()用于组合多个张量输入
机器学习杂货铺1号店
08-15 3288
tf.tuple()用于组合多个张量输入组成的列表[tensor1,tensor2,...]，然后返回一个计算过后的张量列表[cal_tensor1,cal_tensor2,...]，这点和tf.group()是不同的，API手册如： tf.tuple( tensors, name=None, control_inputs=None ) ops = tf.tuple...
Python中的list/tuple，numpy中的ndarrray与tensorflow中的tensor
编程之路
05-28 3031
用python中list/tuple理解，仅仅是从内存角度理解一个序列数据，而非数学中标量，向量和张量。从python内存角度理解，就是一个数值，长度为1，并且不是一个序列；从numpy与tensorflow数学角度理解，就是一个标量，shape为()，其轴为0；[1,2,3,4,5,6]从python内存角度理解，就是1*6或者长度为6的一个序列；从numpy与tensorflow数学角度理解，...
python学习笔记【2】——区分python中的列表(list),数组(array),元组(tuple),矩阵(matrix),张量(tensor,来自tensorflow)
u011204955的博客
11-28 5678
最近学习python以及tensorflow，由于不是相关专业的，被各种类似概念搞得头大，有时候混淆在所难免。其实很多概念只是在不同的环境下用了不同的名称，其数学本质是相同的，通过一段时间的网上查询和学习，这里我就试图捋一捋这几个经常遇到的概念： 【1】列表——list（python概念） python中的列表通常通过a = [ ] 创建，list内的元素可以为数字，字符串等，元素类型可不同。...
(Tensor,Tensor,Tensor, Tensor,Tensor,Tensor, Optional[Tensor]) -> Tuple[Tensor, Tensor]什么意思
最新发布
06-01
这是一个函数的类型注释，其中包含7个参数和返回值。参数类型都是Tensor（张量），而最后一个参数是可选的，可以是Tensor类型或者None。返回值是一个包含两个Tensor的元组。具体来说，这个函数的输入参数应该是7个张量，输出结果是两个张量。这个类型注释可以帮助开发者在编写代码时更好地理解函数的输入输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值