几个nlp的小任务（机器翻译）

最新推荐文章于 2024-09-21 20:03:20 发布
最新推荐文章于 2024-09-21 20:03:20 发布
阅读量973 收藏
点赞数
分类专栏： 人工智能学习 文章标签： 自然语言处理 机器翻译 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Seven597/article/details/132525978
版权
本文介绍了如何在NLP中进行机器翻译任务，包括安装必要的依赖库，数据集的加载与查看，数据预处理，tokenizer测试，特殊token处理，以及预训练模型的微调和训练过程。详细步骤涉及训练参数设置和评估方法应用。
摘要由CSDN通过智能技术生成

几个nlp的小任务（机器翻译）

安装依赖库

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据集介绍与模型介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

加载数据集

在这里插入图片描述

看一看数据集的样子

在这里插入图片描述

评测测试

在这里插入图片描述

数据预处理

在这里插入图片描述

测试tokenizer

在这里插入图片描述

处理目标特殊的token

在这里插入图片描述

预处理函数

在这里插入图片描述

对数据集的所有数据进行预处理

在这里插入图片描述

微调预训练模型

在这里插入图片描述

设置训练参数

在这里插入图片描述

需要一个数据收集器，把处理好数据喂给模型

在这里插入图片描述

设置评估方法

在这里插入图片描述

参数丢给 trainer，开始训练

在这里插入图片描述

Coder-jzq
关注
专栏目录
multi30k数据集：用于英文与法语的机器翻译。
04-21
这个数据集在自然语言处理（NLP）领域，特别是机器翻译（Machine Translation, MT）的研究中占据了重要地位，它为人工智能（AI）领域的科学家和工程师提供了一个基准，用于测试和改进他们的模型性能。 **二、数据集...
NLP，自然语言分析，小语种语料包
03-04
自然语言处理（NLP，Natural Language Processing）是人工智能领域的一个重要分支，主要研究如何让计算机理解和处理人类的自然语言。NLP技术广泛应用于聊天机器人、机器翻译、情感分析、问答系统、文本摘要以及搜索...
小样本NLP自然语言处理的元学习Meta-learning for Few-shot NLP.pdf
04-21
元学习（Meta-learning）在小样本自然语言处理（NLP）中的应用近年来成为了人工智能领域的一个热门研究方向。小样本NLP任务是指那些只有少量标注样本的任务，这在实际应用中非常常见，因为获取大量标注数据往往成本...
一个非常基础的示例，真实世界中的AI聊天机器人会使用更复杂的自然语言处理（NLP）和机器学习技术
07-10
自然语言处理（Natural Language Processing，简称NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究的是如何让计算机理解、解释和生成人类语言。在实际应用中，NLP可以用于文本分类、情感分析、语音...
大型语言模型 (LLM) 劫持攻击不断升级，导致每天损失超过 100,000 美元
网络研究观
09-20 1166
这一趋势反映了 LLM 访问黑市的不断增长，攻击者的动机包括个人使用和规避禁令和制裁。LLMjacking 的频率和复杂性不断提高，给云用户带来了巨大的财务和安全风险。
机器翻译之创建Seq2Seq的编码器、解码器
Hiweir的博客
09-18 406
【代码】创建Seq2Seq的编码器、解码器。
【AI大语言模型】提示词工程基础及进阶
最新发布
XuJiaKai的博客
09-21 780
相比于提示词，提示词工程是一个更加高级且看似牛逼的概念。是指**系统化设计和优化提示词来引导**大语言模型产生预期的结果，这可是一门技术方法。由于这些大语言模型的表现高度依赖输入提示的内容和结构，Prompt 工程的目标是找到有效的提示方式，以最大化模型的性能，生成高质量、相关性强的响应。通过调试、迭代、优化提示词来引导 AI 输出更精确、有用、和上下文相关的内容的系统化方法。
NLP与文本生成：使用GPT模型构建自动写作系统
2401_85639015的博客
09-17 1171
GPT（Generative Pre-trained Transformer）模型是由OpenAI提出的基于Transformer架构的生成模型。它的核心思想是利用大规模的预训练和精调过程来生成高质量的文本。GPT模型的主要版本包括GPT-1、GPT-2、GPT-3以及最新的GPT-4。GPT-1：提出了基于Transformer的生成模型架构，开启了预训练和微调的研究方向。GPT-2：显著扩大了模型规模和训练数据，展示了强大的文本生成能力。GPT-3。
计算机人工智能前沿进展-大语言模型方向-2024-09-17
09-17 1712
计算机人工智能前沿进展-大语言模型方向-2024-09-17
计算机人工智能前沿进展-大语言模型方向-2024-09-21
09-21 787
计算机人工智能前沿，大语言LLM GPT，最新研究论文10篇速读。
大语言模型的发展-OPENBMB
红豆和绿豆的博客
09-20 284
大模型自学
预训练蛋白质语言模型ESM-2保姆级使用教程
liuwei6843的博客
09-16 909
Size of esm2_t33_650M_UR50D is very big, about 2.4G, 这个模型使用了33层Transformer编码器架构，有650百万(6.5亿参数)，使用UniRef50作为训练集;关于UniRef100、UniRef90和UniRef50的知识，请参考：https://pubmed.ncbi.nlm.nih.gov/17379688/
【自然语言处理】补充：词项权重计算及向量空间模型
Ausgelebt的博客
09-21 412
除词项频率tf外，我们还想利用词项在整个文档集中的频率进行权重和评分计算。
TensorRT-LLM——优化大型语言模型推理以实现最大性能的综合指南
知来者逆的博客
09-17 1934
TensorRT-LLM 允许您使用简单的 Python API 定义 LLM。该 API 构建一个图形表示模型，使其更容易管理 GPT 或 BERT 等 LLM 架构中涉及的复杂层。
机器翻译之Bahdanau注意力机制在Seq2Seq中的应用
Hiweir的博客
09-20 876
将pred_seq, label_seq分别进行空格分隔#获取pred_seq, label_seq的长度for n in range(1, k+1): #n的取值范围， range（）左闭右开。
当大语言模型应用到教育领域时会有什么火花出现？
09-21 334
AI + education， 大语言模型在教育的挑战与机遇。
机器翻译之数据处理
Hiweir的博客
09-18 1102
数据预处理#判断标点符号前面是否有空格?= ' '#替换识别不了的字符，替换不正常显示的空格，将大写字母变成小写#在单词和标点之间插入空格return ''.join(out) #合并out#测试：数据预处理go . va!hi . salut!run!cours!run!courez!who?qui?wow!ça alors!#定义函数：词元化"""text:传入的数据文本。
语言模型中的多模态链式推理（论文复现）
wei_shuo的博客
09-15 912
语言模型中的多模态链式推理（论文复现）
自然语言处理（NLP）详解：应用、任务与发展趋势
自然语言处理（NLP）是人工智能的一个关键领域，专注于构建计算机系统，使其能够有效地与人类自然语言进行交互。这个领域涉及到多个层次的理解和生成任务，包括语言理解、翻译、语音识别、情感分析、信息提取、文本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值