masked_fill函数案例演示

于 2024-07-28 07:41:23 发布
阅读量161 收藏 3
点赞数 1
分类专栏： NLP自然语言处理 Python基础 机器学习基础 文章标签： pytorch 深度学习 人工智能
cts618
本文链接：https://blog.csdn.net/w13716207404/article/details/140745685
版权 
def test_masked_fill():
    input = Variable(torch.randn(5, 5))
    # print(f'scores-->{scores}')
    # print(f'input：{input}')
    print(f"input：{input}")
    """
    input：tensor([[-0.2357,  0.8143,  0.4173, -0.6915,  0.2506],
        [-0.5638,  0.9063, -0.6678,  0.4305,  0.8954],
        [ 3.2776, -0.4731,  0.2869, -0.1473,  0.6105],
        [ 0.0249,  0.7301, -0.3991,  1.1885,  0.5604],
        [-0.5454,  0.5988, -0.1047, -0.2669,  0.6869]])
    """
    mask = Variable(torch.zeros(5, 5))
    print(f"mask：{mask}")
    """
    mask：tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])
    """
    masked = input.masked_fill(mask == 0, -1e9)
    # 注：如果mask==0，则用一个很小很小的值去替换，这里用 -1e9
    print(f"masked：{masked}")
    """
    masked：tensor([[-1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09],
                   [-1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09],
                   [-1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09],
                   [-1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09],
                   [-1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09, -1.0000e+09]])
                   
    """
cts618
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
模型架构选择：从传统NLP到Transformer
禅与计算机程序设计艺术
03-02 80
自然语言处理（NLP）是人工智能的重要分支，旨在使计算机能够理解、解释和生成人类语言。随着互联网的发展和数据量的激增，NLP技术在文本分类、机器翻译、情感分析、问答系统等多个领域得到了广泛应用。然而，NLP任务的复杂性和多样性对模型架构提出了巨大挑战。传统的NLP模型架构，如基于规则的方法、统计模型、词袋模型等，虽然在早期取得了一定的成果，但随着数据规模和任务复杂度的增加，这些方法逐渐暴露出其局限性。为了应对这些挑战，研究人员不断探索新的模型架构，从传统的RNN、CNN，到近年来备受瞩目的Transform
精确率与深度学习:自注意力与Transformer
禅与计算机程序设计艺术
06-27 516
在人工智能领域，深度学习模型的精确率一直是研究者们追求的目标。近年来，随着计算能力的提升和数据的爆炸式增长，深度学习在图像识别、自然语言处理、机器翻译等领域取得了突破性进展。然而，传统的深度学习模型，如循环神经网络（RNN）和卷积神经网络（CNN），在处理长序列数据时往往会遇到瓶颈，例如梯度消失或爆炸、难以捕捉长距离依赖关系等问题。为了解决这些问题，研究者们不断探索新的模型和算法。
Stable_diffsuion代码解析
lihao1875699404的博客
11-16 648
*a.get_timestep_embedding 计算timestep_embedding。将张量 a 中根据张量 t 中的索引提取的元素按照输入张量 x 的形状进行重新排列，并返回结果。和普通attention不同的就是去掉softmax，先计算kv，再乘q，降低复杂度。根据x_t和x_0计算q(x_t-1|x_t,x_0)的均值方差。存放拓展脚本，例如实现文生图、图生图的py代码。主要存放一些处理图像的方法，以后用到再总结。根据x_t和噪声得出x_0。定义了一些处理图像的工具方法。
KNN算法实际应用案例：鸢尾花种类预测
weixin_73870552的博客
02-22 1140
1. scikit-learn数据集API介绍中获取数据的操作是在一个大类下的。1）sklearn小数据集使用获取小数据集，数据包含在datasets里，从本地获取，也就是活sklearn中有一小部分已经下好的数据集；例：使用获取鸢尾花数据集。返回值是鸢尾花数据集。# 1. 数据集获取# 1.1 获取小数据集用datasets.load_*()print(iris) # 会显示一堆的内容，但是阅读起来不方便2）sklearn大数据集使用获取大规模数据集，需要从网上下载，函数的第一个参数。
机器学习【KNN案例、API、总结】
weixin_43923463的博客
08-02 660
主要介绍使用Python进行机器学习的一些基本概念。在此案例中，将使用K-Nearest Neighbor（KNN）算法对鸢尾花的种类进行分类，并测量花的特征。sklearn.datasets：加载获取流行数据集获取小规模数据集，数据包含在datasets里获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/load和fetch返回的数据类型datasets.base.Bunch(字典格式)......
机器翻译技术解析与实战案例：编码器—解码器与注意力机制
weixin_71837490的博客
06-25 726
Transformer模型完全基于注意力机制，摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）结构。它主要由编码器（Encoder）和解码器（Decoder）组成，编码器将输入序列转换为连续表示，解码器则基于编码器的输出和之前生成的输出序列生成目标序列。在本文中，我们深入探讨了机器翻译技术的发展，特别是Transformer模型在中日语翻译中的应用和实现。
机器学习__05__K近邻算法
勇敢牛牛，不怕困难！
09-04 956
K近邻（K-Nearest Neighbor, KNN）是一种基本的机器学习算法，所谓k进邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻居来代表。比如：判断一个人的人品，只需要观察与他来往最密切的几个人的人品的好坏可以得出，即“近朱者赤，近墨者黑“.
自然语言模型的发展历程
禅与计算机程序设计艺术
06-28 954
阶段一（直到1970年代），模型基于规则：该阶段自然语言处理主要基于手写规则，只能处理少量数据阶段二（1970-2000年代），模型基于统计：从数学统计的角度预测下个词的出现概率，代表模型如N-Gram等，推理过程非常直观，但是推理结果非常受数据集的影响，容易出现数据稀疏（即空值）等问题阶段三（2000年代到现在），模型基于神经网络：模型开始像人脑一样学习，2017年以前主要是小模型阶段， 在 2017年Transformer发布之后，模型开始尝试大量数据的训练学习，进入大语言模型阶段，在加入人工干预的反馈
ChatGPT 大模型深度学习系统科学的视角——“大模型”深度学习是结构与组合的艺术
禅与计算机程序设计艺术
06-28 30
近年来,随着计算机硬件性能的飞速发展和海量数据的积累,深度学习技术取得了突破性进展。尤其是以 ChatGPT 为代表的大规模语言模型,展现出了惊人的自然语言理解和生成能力,引发了学术界和工业界的广泛关注。这些大模型的成功离不开深度学习系统科学的支撑。大模型的核心算法可以概括为:基于 Transformer 的自监督预训练 + 针对下游任务的微调。其原理可以用下图表示:fill:#333;color:#333;color:#333;fill:none;大规模无标注语料自监督预训练预训练语言模型。
pytorch masked_fill报错的解决
01-20
a = a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=-np.inf) print(a) b = F.softmax(a) print(b) tensor([-inf, -inf, 3., 4.]) d:/pycharmdaima/star-transformer/ceshi.py:8: UserWarning: ...
image masked _labview图像_MaskEd_
10-03
"image masked _labview图像_MaskEd_"这个项目显然聚焦于如何创建和应用图像蒙版来处理图片。图像蒙版是一种二值图像，通常用于隐藏或显示图像的特定区域。下面我们将深入探讨图像蒙版的概念、在LabVIEW中的实现方法...
masked_whn.rar
12-17
《口罩检测与识别技术详解》 在当今社会，由于公共卫生事件的影响，口罩已经成为人们日常生活中不可或缺的防护用品。为了确保公众安全，口罩的正确佩戴变得至关重要。因此，口罩检测与识别技术应运而生，旨在自动...
Masked_Face_Recognition-master.zip
08-21
本项目"Masked_Face_Recognition-master"聚焦于一个关键问题：如何在人们佩戴口罩的情况下进行有效的人脸识别。通过Python编程语言，我们可以构建出一个强大的人脸识别系统，应对这一挑战。 首先，我们要理解人脸...
N3 - Pytorch文本分类入门
最新发布
Loser
07-25 873
文本分类任务，关键的是前面对文本的处理，合并，嵌入，最后的分类反而非常简直，直接使用了一层全连接层就可以达到不错的效果了。在复现的过程中，由于使用的库版本不一致导致torchtext库部分代码无法正常运行，卡了好久，后面搜索了一些之前打卡的同学的博客，才找到解决方案。复现模型时尽量不要使用最新的版本，而是使用原来的版本，先运行起来，再改动。
【Pytorch实战教程】Pytorch中model.train()和model.eval()的作用
惊鸿若梦一书生
07-22 279
在 PyTorch 中，`model.train()` 和 `model.eval()` 用于设置模型的`训练模式`和`评估模式`，它们的作用主要涉及模型中的特定层如批归一化（Batch Normalization）和丢弃（Dropout）等。
Pytorch笔记（1-5）
2301_81989837的博客
07-20 381
张量可以理解为numpy里面的矩阵，可以进行矩阵的操作。
用PyTorch从零开始编写DeepSeek-V2
deephub
07-23 4742
本文详细介绍了DeepSeek-V2语言模型，这是一个强大的开源混合专家（MoE）语言模型，采用创新的架构来提高训练和推理的经济性和效率。DeepSeek-V2采用了两种核心技术：细粒度专家分割和共享专家隔离，这两种策略显著提高了专家的专业化水平。此外，文章还介绍了多头隐性注意力（MLA），这是一种改进的注意力机制，通过低秩键值联合压缩和解耦旋转位置嵌入，优化了模型的存储和计算效率。除了理论探讨，我们通过编写代码实现DeepSeek-V2，可以更深入地理解其架构和工作原理。
PyTorch 2.0 GPU Nvidia运行库的安装
brucexia的专栏
07-23 758
首先是CUDA的安装。百度搜索CUDA 11.7 download，进入官方下载页面，选择适合的操作系统安装方式（推荐使用local（本地化）安装方式），如图2-16所示。当然，读者也可以根据自己电脑的GPU配置要求，查阅PyTorch和CUDA官网，找到适合的PyTorch、CUDA、cuDNN软件版本进行搭配安装。对于PyTorch 2.0的安装来说，最好的安装方法是根据官方提供的安装代码进行安装。此时下载下来的是一个EXE文件，读者自行安装，不要修改其中的路径信息，完全使用默认路径安装即可。
masked_fill
09-14
### 回答1： `masked_fill` 是 PyTorch 中的一个操作，它可以对一个张量进行操作，并根据指定的掩码（mask）在特定位置填充指定的值。掩码是一个跟原始张量形状相同的张量，其中的元素是 0 或 1，表示哪些位置需要被填充，哪些位置不需要被填充。通常情况下，掩码中的 0 表示不需要填充，1 表示需要填充。 例如，假设我们有如下张量和掩码： ```python import torch x = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) mask = torch.tensor([[0, 1, 0], [1, 0, 1], [0, 1, 0]]) ``` 我们想要将 `x` 中的所有奇数位置填充为 -1，可以使用 `masked_fill` 操作： ```python x.masked_fill(mask == 1, -1) ``` 操作的结果是： ``` tensor([[ 1, -1, 3], [-1, 5, -1], [ 7, -1, 9]]) ``` 可以看到，`x` 中第 1、3、5、7 个位置是奇数，对应的掩码中的值为 1，因此在这些位置上填充了 -1。 ### 回答2： masked_fill是一个PyTorch中的函数，主要用于根据给定的mask张量，为输入张量中的某些元素替换为指定的值。mask张量和输入张量的形状必须相同。 具体来说，masked_fill函数有两个参数：mask和value。其中，mask是一个包含0和1的张量，1表示对应位置的元素需要被替换，0表示不需要替换。value是一个标量或与输入张量相同形状的张量，用于指定将要替换的值。 masked_fill函数会遍历输入张量的每个元素，并根据对应位置的mask张量中的值来决定是否进行替换。对于mask张量中为1的位置，将会用value对应位置的值替换输入张量中的元素。 使用masked_fill函数可以对张量中的部分元素进行覆盖或替换操作，常用于处理序列数据或在神经网络中进行数据清洗和预处理。例如，在序列标注任务中，可以使用mask张量来指定哪些位置是有效的标签，然后使用masked_fill函数将无效标签替换为特定的值或mask掉。 总结而言，masked_fill函数可以依据mask张量的指示，将输入张量中的部分元素替换为指定的值，是一种灵活且常用的数据处理工具。 ### 回答3： masked_fill是PyTorch中的一个函数，用于根据指定的mask条件，将Tensor中符合条件的元素进行替换。其函数签名为：torch.masked_fill_(mask, value)，其中mask是一个与原Tensor形状相同的布尔类型的Tensor，value是一个标量或与原Tensor形状相同的Tensor。 该函数的作用是将对应位置mask为True的元素替换为指定的value。具体的操作是，对于mask为True的元素，用value的值进行填充；而对于mask为False的元素，保持不变。 举个例子，假设原始Tensor为[[1, 2, 3], [4, 5, 6]]，mask为[[True, False, True], [False, True, False]]，value为10。经过masked_fill操作后，会得到新的Tensor为[[10, 2, 10], [4, 10, 6]]。 使用masked_fill函数可以方便地对Tensor进行掩码操作，常用于在序列处理任务中，对特定位置的元素进行屏蔽或填充。例如，在自然语言处理中，可以将句子的padding部分（通常用0表示）进行屏蔽，以便在计算过程中不产生影响。 需要注意的是，masked_fill函数会直接在原Tensor上进行操作，并改变其值，因此在使用时需要注意是否需要保留原Tensor。另外，该函数除了返回被替换后的Tensor之外，还会直接修改原Tensor的值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cts618

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值