![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 75
小小的香辛料
天落九重影,君便晓黎明炫目。
展开
-
【coding】手写多头注意力
多头的话,就是把d_model拆分成多个头,然后交换sequence_length和n_head进行自注意力计算,得到的张量再还原回去,最后过一层线性层作为输出。公式比较简单,softmax(q*k/sqrt(d_k))*v。记录一个coding模版,记得加上mask和dropout。原创 2023-12-06 12:00:10 · 916 阅读 · 2 评论 -
【Python】NLP参数控制模板
学过AI的都知道训练一个模型需要调整很多参数,为了有效的管理这些参数、不至于让代码的参数写的乱七八糟,有必要写一套控制参数的模板。原创 2023-07-03 16:11:19 · 222 阅读 · 0 评论 -
【LLMs系列】没钱玩GPT-4?来试试Mini-GPT4吧!
投影层(Projection Layer)是神经网络中常见层类型,将输入数据从一个空间映射到另一个空间。NLP中,投影层通常用于将高维词向量映射到低维空间,以减少模型参数数量和计算量。CV中,投影层可以将高维图像特征向量映射到低维空间,以便于后续处理和分析。先是在 4 个 A100 上用 500 万图文对训练然后再用一个小的高质量数据集训练,单卡 A100 训练只需要 7 分钟。原创 2023-06-27 00:22:42 · 360 阅读 · 0 评论 -
【LLMs系列】90%chatgpt性能的小羊驼Vicuna模型学习与实战
UC伯克利学者联手CMU、斯坦福等,再次推出一个全新模型70亿/130亿参数的Vicuna,俗称「小羊驼」(骆马)。小羊驼号称能达到GPT-4的90%性能本篇文章为博主自行学习vicuna推理部署实战教程,并记录相关坑点,话不多说,直接开干!原创 2023-06-16 15:01:27 · 2686 阅读 · 5 评论 -
PaddleNLP登顶FewCLUE小样本学习榜单;AutoPrompt自动化提示功能直接带你原地起飞
组里几个大佬一顿操作猛如虎,直接将FewCLUE小样本榜单打到第一,太牛逼了!其中用到的核心的操作就是AutoPrompt技术,提示学习近两年火得一塌糊涂,也有不少研究机构在陆续将Prompt封装的更加简便易用,比如清华大学的OpenPrompt就做的很nice!一份工作永远可以做的更好,百度PaddleNLP团队在此基础上取其精华去其糟粕,并进行了更多的拓展和设计,力求提升用户极致的体验,比如简单的一件配置即可完成Prompt操作,AtuoPrompt就可以做到这种事情,真正做到“一键使用”。转载 2022-11-13 12:48:58 · 612 阅读 · 0 评论 -
PaddleNLP学习日记(一)CBLUE医疗文本分类
最后来总结一下使用paddlenlp完成医疗文本分类的流程,详细代码请移步医疗文本分类~导包:参考github代码定义指标类别:对于不同的子数据集及任务,使用不同的指标如Accuracy、MultiLabelsMetric、AccuracyAndF1。添加命令行参数:主要用于接受用户从控制台输入的参数。设置随机种子:用于复现训练和测试结果,方便后续进行调试。定义评估方法:传入model、数据加载器、评价指标和损失函数,得到数据集对应的指标。原创 2022-11-02 16:33:50 · 2314 阅读 · 0 评论 -
百度nlp面经(2022.10.18)
百度NLP面经(2022.10.18)原创 2022-10-19 10:58:06 · 1360 阅读 · 7 评论 -
浅谈Attention与Self-Attention,一起感受注意力之美
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文,犹如一道惊雷,Attention横空出世了!(有一说一,这标题也太他喵嚣张了,不过人家有这个资本(o゚▽゚)o)很快Attention就被推上了神坛,搭载着犹如核弹的Transformer,Bert出现了,在NLP的各个任务上屠榜,后来预训练模型遍地开花,在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......原创 2022-07-29 14:30:45 · 2759 阅读 · 1 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(5)
任务4正则表达式。原创 2022-07-22 17:26:04 · 219 阅读 · 0 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(4)
定义数据集读取类和模型类#数据集读取#读取单个样本,0,原创 2022-07-20 10:48:34 · 1118 阅读 · 0 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(3)
下面就用sklearn中的Pipeline将TF-IDF和逻辑回归这两个估计器打包,再打训练集的日语和英文拼起来(这是一种很棒的处理方式)传入Pipeline进行fit。这里值得一提的是TF-IDF的实现用了TfidfVectorizer,我注意到sklearn的官方文档中不止这一个方法去实现TF-IDF,还有下图的。减少了代码量,更重要的是,可以在网格化搜索中使用pipline。给定训练集corpus和测试集corpus_test,使用tf-idf算法得到对应语料的tf-idf值。...原创 2022-07-15 13:11:53 · 406 阅读 · 0 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(2)
目录任务 Just Do It!1.中文分词:jieba编辑 2.日语分词:nagisa支持4种模式示例代码: 对应到比赛中,代码为 2.日语分词:nagisaGitHub - taishi-i/nagisa: A Japanese tokenizer based on recurrent neural networks示例代码:对应到比赛中,代码为:结果为:比赛对英文的处理其实比赛中英文不需要处理,因为英文单词本身就是以空格区分的,所以本身就相当于做了分词了。只需要将大写原创 2022-07-13 17:55:33 · 379 阅读 · 0 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(1)
目录前言任务 Just Do It!1.导包 2.读取训练和测试数据集3.查看训练集和测试集的字段类型 该系列为博主跟着阿水做的30天入门数据竞赛,比赛是科大讯飞的汽车领域多语种迁移学习挑战赛。会持续更新打卡,并在一些地方加入自己的理解。考虑到后期冲榜,最优版方案可能会在比赛结束后再更新。为了规范代码,建议第一步统一导包。2.读取训练和测试数据集这里我其实是遇到了报错的。因为最近从jupyter notebook和PyCharm转vs code了(vs code太爽了!真香!原创 2022-07-13 17:11:47 · 248 阅读 · 0 评论 -
预训练是什么?预训练和直接训练的区别?
一个劲说预训练模型,所以说到底什么是预训练模型?本文就以最简单的视角切入,以一个例子让你明白预训练到底是什么?它和我们平时最常说的直接训练的区别又是什么?个人理解假设有一个任务:现在有个紧急比赛,需要让我们的小baby在一个月内学会跑步!直接训练方式:我之前什么都没教过他,直接让他学会怎么跑步。那他还要自己摸索怎么爬,怎么站立?这两步学会了才能学跑步。这是我们正常的学习思维。但是他本身就是一个小baby,让它自己摸索爬和站立的过程是非常长的。等他学完这两步比赛都结束了!我们知道训练一个神原创 2022-05-19 17:08:33 · 19171 阅读 · 24 评论 -
《动手学深度学习》--- 序列模型实现
参考沐神8.1. 序列模型 — 动手学深度学习 2.0.0-beta0 documentationhttps://zh-v2.d2l.ai/chapter_recurrent-neural-networks/sequence.html亮点简要概述自回归模型 如何将x=[x1,x2,,,xn] y=[y1,y2,,,yn]转化成序列数据?这里的处理方法让人眼前一亮!决定拿小本本记下来,以后套用。 马尔科夫性质和马尔科夫模型的简要讲解,后面的序列模型很多基于此性质。 单步预测效果尚可,多步效.原创 2022-05-11 16:50:19 · 1210 阅读 · 0 评论 -
《动手学深度学习》--- 文本预处理
做了什么事?读取《时光机器》这本书 建立词表 通过词表将这本书转化为向量表示Code#!/usr/bin/env python# -*- coding: UTF-8 -*-"""@Project :深度学习入门@File :文本预处理.py@Author :little_spice@Date :2022/5/11 18:13"""import collectionsimport refrom d2l import torch as d2l# 读取数据集:从H.G...原创 2022-05-11 22:12:44 · 1267 阅读 · 2 评论