李宏毅ML2021 HW7 BERT-Question Answering

最新推荐文章于 2024-04-21 01:22:50 发布
最新推荐文章于 2024-04-21 01:22:50 发布
阅读量2.8k 收藏 12
点赞数 4
分类专栏： # 李宏毅深度学习2021 文章标签： bert 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39610915/article/details/119913009
版权

参考代码：Colab
作业PPT： slide
作业所需的数据：data
作业说明：video
作业提交评分：kaggle

目录

1. 作业任务描述

1.1 用BERT做QA的基本原理

Extraction-based QA:
假设问题的答案均出现在原文中
输入文档和问题（均被tokenliazation）,输出为答案在文章中的位置（token的位置）
在这里插入图片描述
BERT的输入如下图所示：
在这里插入图片描述
文章的每个词汇的embedding都分别与图中红色和蓝色的vector做点积，并经过softmax，看哪个词汇得到的分数最高（评估每个单词为start token和end token的概率）。得到最高值的词汇，分别是答案的开始和结束的token。如果start token的下标>end token的下标则无解。

1.2 数据描述

训练集为一个json文件，question字段存储一个问题对象的list。
在这里插入图片描述
paragraphs字段为一个文本的list，每一行存储一篇原文。
在这里插入图片描述

在这里插入图片描述

1.3 需要注意的问题

在本作业中，我们将问题的token序列和包含答案的原文的token序列一起输入BERT，而BERT模型输入序列的最大长度为512。
在这里插入图片描述
为了解决这个问题，因为在训练中我们知道答案地位置，我们简单地假设用来回答给定问题的原文信息，一定在答案的附近。当原文的长度超过512时，以答案为中心，将原文切分不同的窗口，分别在其中预测答案的开始和结束位置。当然这会带来新的问题，我们会在改进部分中说明。
如下图所示，在测试阶段，我们不知道答案会在哪一个window中，需要在每一个window中预测答案的开始结束下标，计算得分，并取最大的那一个。
在这里插入图片描述

2. 必备前置知识

2.1 tokenizer

huggingface文档
tokenizer的基本作用是将原文本进行数据预处理

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')

常规的BERT模型的tokenizer会输出一个字典，包含’input_ids’，‘token_type_ids’和’attention_mask’。
（不同的模型输出不同，如DistilBERT的输出就不包含’token_type_ids’）

>>> encoded_input = tokenizer("Hello, I'm a single sentence!")
>>> print(encoded_input)

{
	'input_ids': [101, 138, 18696, 155, 1942, 3190, 1144, 1572, 13745, 1104, 159, 9664, 2107, 102],
	'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
	'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
 }

第一个参数的含义非常简单

  • inputs_ids: 对应于我们输入的句子中每个token的索引。

我们可以将tokenizer的输出解码得到原本的句子。

>>> tokenizer.decode(encoded_input["input_ids"])
"[CLS] Hello, I'm a single sentence! [SEP]"

可以发现，tokenizer自动添加了一些BERT期望的特殊标记，如[CLS], [SEP]。可以通过传递add_special_tokens=False来禁用此行为（仅当您自己添加了这些特殊标记时才建议这样做）。

下面介绍 token_type_ids
有时候我们需要输入一对句子到模型中，比如评估一对句子是否相似，或者做question-answering任务。
对于BERT模型，输入形式为**[CLS] Sequence A [SEP] Sequence B [SEP]**

>>> encoded_input = tokenizer("How old are you?", "I'm 6 years old")
>>> print(encoded_input)
{'input_ids': [101, 1731, 1385, 1132, 1128, 136, 102, 146, 112, 182, 127, 1201, 1385, 102],
 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1],
 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}

token_type_ids向模型指出输入的哪一部分对应于第一句，哪一部分对应于第二句。

以本次作业举例：

question = '问题的答案是？'
paragraph = '问题的答案是42'
encoded = chi_tokenizer.encode(question, paragraph)
encoded_plus = chi_tokenizer.encode_plus(question, paragraph)
decoded = chi_tokenizer.decode(encoded)
decoded_plus = chi_tokenizer.decode(encoded_plus['input_ids'])
print(encoded)
print(encoded_plus)
print(decoded)
print(decoded_plus)

输出

[101, 7309, 7579, 4638, 5031, 3428, 3221, 8043, 102, 7309, 7579, 4638, 5031, 3428, 3221, 8239, 102]
{
'input_ids': [101, 7309, 7579, 4638, 5031, 3428, 3221, 8043, 102, 7309, 7579, 4638, 5031, 3428, 3221, 8239, 102],   				 	'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1], 
'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
}
[CLS] 问 题 的 答 案 是 ？ [SEP] 问 题 的 答 案 是 42 [SEP]
[CLS] 问 题 的 答 案 是 ？ [SEP] 问 题 的 答 案 是 42 [SEP]

3. 基础版本代码

首先助教讲解了一份作业的toy demo，掌握这部分内容有助于理解正式的作业参考代码。

3.1 A toy example for HW7 Bert QA

（1）导入所需的包

!pip install transformers==4.5.0
import torch
from transformers import AdamW, BertTokenizerFast, BertForQuestionAnswering

（2）加载Model和Tokenizer

可用的预训练模型列表: https://huggingface.co/models

# model_name can be either: models in huggingface model hub or models saved using save_pretrained
model_name = 'bert-base-chinese'
model = BertForQuestionAnswering.from_pretrained(model_name)
chi_tokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese')
eng_tokenizer = BertTokenizerFast.from_pretrained('bert-base-cased')

（3）用Tokenizer分词

chi_paragraph = '问题的答案是42'
tokens = chi_tokenizer.tokenize(chi_paragraph)
print(tokens)
chi_tokenizer.convert_tokens_to_ids(tokens)

输出：

['问', '题', '的', '答', '案', '是', '42']
[7309, 7579, 4638, 5031, 3428, 3221, 8239]

eng_paragraph = 'The answer to the question is 42.'
tokens = eng_tokenizer.tokenize(eng_paragraph)
print(tokens)
eng_tokenizer.convert_tokens_to_ids(tokens)

输出：

['The', 'answer', 'to', 'the', 'question', 'is', '42', '.']
[1109, 2590, 1106, 1103, 2304, 1110, 3565, 119]

（4）Encode and Decode

question = '问题的答案是？'
paragraph = '问题的答案是42'
encoded = chi_tokenizer.encode(question, paragraph)
encoded_plus = chi_tokenizer.encode_plus(question, paragraph)
decoded = chi_tokenizer.decode(encoded)
decoded_plus = chi_tokenizer.decode(encoded_plus['input_ids'])
print(encoded)
print(encoded_plus)
print(decoded)
print(decoded_plus)

输出：

[101, 7309, 7579, 4638, 5031, 3428, 3221, 8043, 102, 7309, 7579, 4638, 5031, 3428, 3221, 8239, 102]
{
	'input_ids': [101, 7309, 7579, 4638, 5031, 3428, 3221, 8043, 102, 7309, 7579, 4638, 5031, 3428, 3221, 8239, 102], 
	'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1], 
	'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
}
[CLS] 问 题 的 答 案 是 ？ [SEP] 问 题 的 答 案 是 42 [SEP]
[CLS] 问 题 的 答 案 是 ？ [SEP] 问 题 的 答 案 是 42 [SEP]

（5）模型输入

return_tensors这个参数表示：如果设置，将返回张量，而不是python整数列表。
可接受值为：

  • ‘tf’: Return TensorFlow tf.constant objects.
  • ‘pt’: Return PyTorch torch.Tensor objects.
  • ‘np’: Return Numpy np.ndarray objects.
inputs = chi_tokenizer(question, paragraph, return_tensors='pt')
# Indices of input sequence tokens in the vocabulary
print('Input ids:      ', inputs['input_ids'])
# Segment token indices to indicate first and second portions of the inputs. Indices are selected in [0, 1]
print('Token type ids: ', inputs['token_type_ids'])
# Mask to avoid performing attention on padding token indices. Mask values selected in [0, 1]
print('Attention mask: ', inputs['attention_mask'])

输出：

Input ids:       tensor([[ 101, 7309, 7579, 4638, 5031, 3428, 3221, 8043,  102, 7309, 7579, 4638,
         5031, 3428, 3221, 8239,  102]])
Token type ids:  tensor([[0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1]])
Attention mask:  tensor([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]])

（6）Testing(中文)

  • start_logits: 表示预测的答案的开头为输入的token的概率得分（未经过softmax）
  • end_logits: 表示预测的答案的开头为输入的token的概率得分（未经过softmax）
question = '问题的答案是？'
paragraph = '问题的答案是42'
inputs = chi_tokenizer(question, paragraph, return_tensors='pt')

with torch.no_grad():
    output = model(**inputs)
# output = model(input_ids=inputs['input_ids'], token_type_ids=inputs['token_type_ids'], attention_mask=inputs['attention_mask'])

print("start_logits: ")
print(output.start_logits)

print("end_logits: ")
print(output.end_logits)

start = torch.argmax(output.start_logits) # 返回dim维度上张量最大值的索引。
end = torch.argmax(output.end_logits)
print("start position: ", start.item()) # 一个元素张量可以用x.item()得到元素值
print("end position:   ", end.item())

# 获取预测的start和end的token的id
predict_id = inputs['input_ids'][0][start : end + 1]
print("predict_id:     ", predict_id)
# 根据id解码出原文
predict_answer = chi_tokenizer.decode(predict_id)
print("predict_answer: ", predict_answer)

输出：

start_logits: 
tensor([[0.2367, 0.0053, 0.5719, 0.5851, 0.9732, 0.5694, 0.2992, 0.0743, 0.4991,
         0.8124, 0.6211, 0.8512, 1.0712, 0.7570, 0.6720, 0.0945, 0.4991]])
end_logits: 
tensor([[-0.0972, -0.3593, -0.1517, -0.5554, -0.3928, -0.1403, -0.4841, -0.4113,
         -0.0454, -0.2405,  0.1035, -0.3529, -0.2633, -0.0343, -0.3512,  0.1362,
         -0.0454]])
start position:  12
end position:    15
predict_id:      tensor([5031, 3428, 3221, 8239])
predict_answer:  答 案 是 42

（7）Training (中文)

对于QA，损失是模型预测和正确答案的交叉熵之和

# 指定正确答案的开始结束位置，15
output = model(**inputs, start_positions=torch.tensor([16]), end_positions=torch.tensor([16]))
print("loss: ", output.loss)

optimizer = AdamW(model.parameters(), lr=1e-4)
output.loss.backward()
optimizer.step()

3.2 Simple版本参考代码

课程提供的simple版本的代码可以直接运行，train一遍在valid集上的准确度为0.492，在test集上的准确度为0.44622。

4. 改进项

根据助教的讲解，Simple版本的代码有很多可以改进的地方。
在这里插入图片描述

4.1 线性学习率下降

在这里插入图片描述
简单做法

##### TODO: Apply linear learning rate decay #####
optimizer.param_groups[0]["lr"] -= learning_rate/(total_step * num_epoch)

还可以参考huggingface官方文档
也可以采取其它的策略如warmup

4.2 窗口的大小

在这里插入图片描述
注意窗口大小是作用于valid集和test集上的，在训练集上，我们知道答案的位置。
对于训练集，设置一个max_paragraph_len，只输入以答案为中心，左右两侧长度为max_paragraph_len // 2的文本。
当然，超过[0, len(tokenized_paragraph))范围的文本要被裁掉。

# A single window is obtained by slicing the portion of paragraph containing the answer
mid = (answer_start_token + answer_end_token) // 2
# 要满足条件 0 <= paragraph_start <= len(tokenized_paragraph) - self.max_paragraph_len
paragraph_start = max(0, min(mid - self.max_paragraph_len // 2, len(tokenized_paragraph) -self.max_paragraph_len))
paragraph_end = paragraph_start + self.max_paragraph_len

而对于valid和test集，由于我们不知道答案的位置，因此从下标0开始，划分不同的窗口。
窗口的大小为max_paragraph_len，每次窗口的起点前进doc_stride。

# Paragraph is split into several windows, each with start positions separated by step "doc_stride"
for i in range(0, len(tokenized_paragraph), self.doc_stride):
    
    # Slice question/paragraph and add special tokens (101: CLS, 102: SEP)
    input_ids_question = [101] + tokenized_question.ids[:self.max_question_len] + [102]
    input_ids_paragraph = tokenized_paragraph.ids[i : i + self.max_paragraph_len] + [102]
    
    # Pad sequence and obtain inputs to model
    input_ids, token_type_ids, attention_mask = self.padding(input_ids_question, input_ids_paragraph)
    
    input_ids_list.append(input_ids)
    token_type_ids_list.append(token_type_ids)
    attention_mask_list.append(attention_mask)

在Simple版本的代码中,doc_stride和max_paragraph_len设置为相同的值，因为每个窗口之间是不重叠的。
但这样会导致一个问题，比如答案恰好在窗口的边缘，或者答案被两个窗口分割，模型就看不到答案。
因此需要使用重叠的窗口。
做法比较简单，让doc_stride小于max_paragraph_len，这样每个窗口必然与前一个窗口有交集。

4.3 Medium小结

设置一个线性学习率下降，修改doc_stride=200，max_paragraph_len=300。
训练一个epoch以后，模型在验证集上的准确率为0.772。

在kaggle上提交进行测试，结果已经超过了课件中Medium的标准。
在这里插入图片描述

4.4 使用其它的预训练模型

助教提示使用其它的中文BERT模型可以提升准确率
比如使用chinese-bert-wwm-ext

model = BertForQuestionAnswering.from_pretrained("hfl/chinese-bert-wwm-ext").to(device)
tokenizer = BertTokenizerFast.from_pretrained("hfl/chinese-bert-wwm-ext")

上面的代码在第一次调用时会自动下载预训练模型，下面介绍一下怎么自己下载预训练模型。
（1）打开模型的网页，点击Use in Transformers
在这里插入图片描述
（2）使用git命令clone模型
在这里插入图片描述
这样操作会下载所有的相关模型，你也可以点击Files and versions，手动下载Pytorch or Tensorflow版本的模型。
在这里插入图片描述

模型medium基础上在valid集上的准确率
hfl/chinese-bert-wwm-ext0.760
bert-base-chinese0.772
luhua/chinese_pretrain_mrc_roberta_wwm_ext_large0.775

实际使用的预训练模型是luhua/chinese_pretrain_mrc_roberta_wwm_ext_large，模型见https://huggingface.co/luhua/chinese_pretrain_mrc_roberta_wwm_ext_large
性能上的提升不是特别显著。
在这里插入图片描述

4.5 改进训练集的预处理

4.2中，对于训练集文章的输入处理存在一定的问题，由于我们总是输入以答案为中心，长度为max_paragraph_len的一段原文，可能会让模型错误地学习到，答案总是在输入的窗口的中心位置。
这里我们简单的做一个打乱，在训练集输入时，让答案出现在一个max_paragraph_len长度的文本中的随机位置。
在这里插入图片描述

4.6 改进postprocessing

最后一个问题是，当我们预测的end_index < start_index时，会得不到答案。
但实际上，训练集和测试集中每个问题都是有答案的。
如何改进这个问题？
在评估函数中稍微做一些修改，只有在start_index <= end_index，且概率之和更大时，才更新我们的答案。

# Replace answer if calculated probability is larger than previous windows
if prob > max_prob and start_index <= end_index:
    max_prob = prob
    answer = tokenizer.decode(data[0][0][k][start_index : end_index + 1])

在这里插入图片描述
最终做了各种改进，但是在public数据集上的准确度还是没有达到strong的要求，可能代码还是存在各种各样的问题。

梆子井欢喜坨
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ML2021-Spring:李宏毅（Hung-Yi Lee）机器学习Machine Learning 2021 Spring
03-06
国立台湾大学机器学习Machine Learning 2021 Spring （每周更新！每周更新！） 该存储库包含李宏毅（Hung-Yi Lee）指导的15项机器学习家庭作业的代码和幻灯片。 有关该课程的所有信息都可以在上找到。 讲座视频 讲座视频可在Hung-Yi Lee的。 15作业 HW1：回归 HW2：分类 HW3：CNN HW4：自我关注 HW5：变压器 HW6：GAN HW7：BERT HW8：自动编码器 HW9：可解释的AI HW10：对抗性攻击 HW11：适应 HW12：强化学习 HW13：终身学习 HW14：压缩 HW15：元学习
21机器学习李宏毅作业——HW7(BERT)
LareinaLiang的博客
08-05 1100
HW7--BERT作业要求代码部分数据集前期的安装和import暂时不知道干什么的代码模型加载和断词器读取数据分断下数据Dataset and DataloaderEvaluationTrainingTesting最后生成的一些文件 作业要求 用BERT模型做Q&A的问题，Q&A的问题就是你输入文章和问题(这些问题的答案都能从文章中找出)，输出两个正整数S和E，分别代表答案的开始和结束位置。 了解如何使用转换器对下游任务上的预训练模型进行微调 代码部分 数据集 这次我下载下来了，比较小，稍后
李宏毅-hw7-利用Bert完成QA
xiao_ZHEDA的博客
09-20 830
bert_QA
李宏毅2021年机器学习作业7（bert）实验记录
求算法实习
11-20 1880
李宏毅2021年机器学习作业7学习笔记前言一、问题描述二、实验过程2.1 跑助教提供的原始代码2.2 修改窗口2.3 加Linear Learning rate decay2.4 改变窗口切取位置2.5 后续可以改进的方向：postprocessing2.6 后续可以改进的方向：换pre-train model三、总结 前言 声明：本文参考了李宏毅机器学习2021年作业例程，开发平台是kaggle notebook。 一、问题描述 给机器一个文章和一个问题，要求输出问题的答案，简单来说就是QA问题。 B站作
【李宏毅2022 机器学习春】hw7_BERT（占坑）
py今天刷题了吗
04-26 1178
文章目录评分标准实验记录`medium`训练技巧fp16_trainingGradient accumulation收获： 评分标准 实验记录 medium Hyper parameter: max_question 40/ max_paragraph 350/ doc_stride 300 ##### TODO: Apply linear learning rate decay ##### learning_rate = learning_rate * (1.0 / (1.0 + 0.00001 *
李宏毅机器学习2022春季-第七课和HW7
weixin_42369818的博客
04-20 708
李宏毅机器学习2022春季-第七课和HW7发布
李宏毅机器学习2021作业7-Bert (Question Answering)
god_father_o的博客
05-12 1478
内容为自己对助教给出代码的自我理解（甚至可以理解为部分翻译。。）外加一些函数的查找以及其功能，欢迎大家指出我的不足，帖子主要是作为自己的笔记记录一下，不喜勿喷。3q Task description - Chinese Extractive Question Answering - Input: Paragraph + Question - Output: Answer - Objective: Learn how to fine tune a pretrained model on do
huggingface transfomers 学习（二）——实战之李宏毅机器学习2021作业7
weixin_44965023的博客
09-22 1282
一： 之前学习了一下transformers 的简单用法，这里通过完成李宏毅老师的机器学习作业来实战应用。本文的数据集和代码都来源于该老师的作业，我根据作业要求在评估数据集上完成了strong baseline的要求，至于boss baseline，还差一些，就没有继续研究。这里分享一下我整理过的的代码，后续会慢慢加些注释。 二： import json import numpy as np import random import torch from torch.utils....
李宏毅深度学习HW7
Raphael9900的博客
12-21 743
李宏毅深度学习
李宏毅2022机器学习HW7解析
weixin_42369818的博客
05-18 2780
李宏毅2022机器学习HW7解析!
李宏毅机器学习2021HW3食物数据集
06-01
训练集内含11种食物图片的分类集和用于半监督的未分类集，还有11种图片的验证集，以及测试集
QuestionAndAnswering:使用colab代码和FastAPI部署Albert模型来回答问题
04-14
问题与答案 使用colab代码和FastAPI部署Albert模型来回答问题
李宏毅教授ML-2022Spring-HW1-SampleCode-TrainingData
01-17
ML 2022 Spring 台大李宏毅教授 2022 年春季機器學習課程，作業 1 相關資料 內含： - 兩個助教的 Sample Code - 訓練用的數據
李宏毅21作业七使用的数据集
08-05
用BERT模型做Q&A的问题，内含训练集，测试集和开发集，格式是json格式
Lhy_Machine_Learning：李宏毅2021Spring机器学习课程课件及作业
03-03
Lhy_Machine_Learning 李宏毅2021Spring机器学习课程课件及作业 B站视频地址： : 课程主页： : 不定期分享读研干货，点赞关注一起进步： ://space.bilibili.com/46880349 人工智能技术探讨群：78174903 第一节简介作业HW1：回归 第二节深度学习作业HW2：分类 第三节自我注意作业HW3：CNN HW4：自我注意 第四节机器学习理论 第五节变压器作业HW5：变压器 第六节生成模型作业HW6：GAN 第七节自我监督学习作业HW7：BERT HW8：自动编码器 第八节可解释的AI /对抗攻击作业HW9：可解释的AI HW10：对抗攻击 第九节域适应/ RL作业HW11：适应 第十节RL作业HW12：RL 第十篇隐私与ML 第十二节Quantum ML 第十三节Life / Long / Compression作业HW1
ml2021spring
03-30
ml2021spring
LHY_DL_homework_2020:李宏毅2020深度学习作业
05-21
LHY_DL_homework 李宏毅老师2020深度学习课后作业 数据： 提取码:6159 PS: hw7, hw8, hw13, hw14这四次的代码比较复杂
基于卷积神经网络的垃圾图像分类系统研究与实现
最新发布
haosen
04-21 1412
垃圾分类作为资源回收利用的重要环节之一, 可以有效地提高资源回收利用效率, 进一步减轻环境污染带来的危害. 随着现代工业逐步智能化, 传统的图像分类算法已经不能满足垃圾分拣设备的要求. 本文提出一种基于卷积神经网络的垃圾图像分类模型 (Garbage Classification Network, GCN). 实验结果证明, GCN 在垃圾分类数据集上取得了优异的结果, 能够有效地提高垃圾识别精度。
深度学习基础——卷积神经网络的基础模块
weixin_39753819的博客
04-20 807
批归一化是一种用于神经网络中的技术，旨在减少训练过程中的内部协变量偏移，并且可以作为一个正则化项来降低网络的过拟合程度。通过对每个小批量输入进行归一化，使得网络的输入更加稳定，加快收敛速度，同时提高网络的泛化能力。
李宏毅ml2021spring hw3
10-03
李宏毅ML2021春季课程的第三个作业是一个关于自然语言处理任务的实践项目。这个作业涵盖了文本分类、情感分析和命名实体识别等主题。 学生们的任务是使用提供的数据集，通过实现机器学习算法，对文本进行分类和情感分析。对于命名实体识别，学生们需要利用已有的工具和技术来提取文本中的实体，例如人名、地名、组织名等。 在这个作业中，学生们需要掌握一些基本的自然语言处理技术和算法。他们需要了解常用的特征提取方法，例如词袋模型和TF-IDF。此外，学生们还需要学习基本的分类算法，如朴素贝叶斯和支持向量机。在情感分析任务中，学生们需要了解情感词典和情感分析的基本原理。 此外，学生们还需要使用Python编程语言和相关的自然语言处理工具库，如NLTK和SpaCy。通过实践项目，学生们将获得与自然语言处理相关的实际经验，并加深对机器学习模型和算法的理解。 完成这个作业需要一定的时间和努力。学生们需要仔细阅读作业要求和相关文档，并按照要求完成代码实现和实验报告。他们还需要参考课程讲义和推荐的学习资源，以加深对自然语言处理领域的理解。 总的来说，李宏毅ML2021春季课程的HW3是一个涉及自然语言处理任务的实践作业。通过完成这个作业，学生们将掌握基本的自然语言处理技术和算法，并获得与自然语言处理相关的实际经验。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值