自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 Datawhale AI 夏令营 学习笔记——NLP竞赛——Task3

Transformer的主要组件包括。其核心是利用,使每个位置的表示不仅依赖于当前位置,还能够直接获取其他位置的表示。自从提出以来,Transformer模型在机器翻译、文本生成等自然语言处理任务中均取得了突破性进展,成为NLP领域新的主流模型。从宏观角度来看,Transformer的编码器是由多个相同的层叠加而成的,每个层都有两个子层(子层表示为sublayer)。第⼀个子层是;第二个子层是。对于输入文本序列,先通过一个输入嵌入层(Input Embedding)。通常直接对每个单词创建一个向量表示。

2024-07-19 00:12:12 1829

原创 Datawhale AI 夏令营 学习笔记——机器学习竞赛——Task3

时间序列预测是一个不断发展的领域,随着技术的进步,我们可以期待更多的优化方法和模型的出现。深度学习模型,特别是LSTM和其变体,已经在许多时间序列预测任务中显示出了优越的性能。更复杂的模型结构:如引入注意力机制的LSTM模型,以更好地捕捉时间序列中的长期依赖关系。多模态数据融合:结合时间序列数据和其他类型的数据,如文本或图像,以提供更全面的分析。模型解释性:提高模型的可解释性,以便更好地理解预测结果。自动化特征工程:开发自动化的特征工程工具,以减少手动特征提取的工作量。实时预测。

2024-07-18 23:27:45 717

原创 Datawhale AI 夏令营 学习笔记——NLP竞赛——Task2

例如,在电视系统上为了便于视频的传播,会使用各种编码器将视频编码成数字信号,在客户端,相应的解码器组件会把收到的数字信号解码为视频。在机器翻译的发展进程中,译文质量评价有着非常重要的作用。(构成单词的基本组成部分,一个词素可以是一个完整的单词,也可以是单词的一部分,但每一个词素都至少携带一部分语义或语法信息),这是NLP中最基本的步骤之一。:使用预训练的词向量或自己训练词向量,将词汇表中的词映射到高维空间中的向量,以捕捉语义信息(当前大模型领域训练的 embedding 模型就是用来完成此任务的)。

2024-07-15 16:53:11 628

原创 Datawhale AI 夏令营 学习笔记——机器学习竞赛——Task2

其中id为房屋id,dt为日标识,训练数据dt最小为11,不同id对应序列长度不同;type为房屋类型,通常而言不同类型的房屋整体消耗存在比较大的差异;target为实际电力消耗,也是我们的本次比赛的预测目标。

2024-07-14 20:21:28 1761

原创 Datawhale AI 夏令营 学习笔记——NLP竞赛——Task1

BLEU,全称为(双语评估替换),是一种对生成语句进行评估的指标。在机器翻译领域,BLEU(Bilingual Evaluation Understudy)是一种常用的自动评价指标,用于衡量计算机生成的翻译与一组参考译文之间的相似度。这个指标特别关注n-grams(连续的n个词)的精确匹配,可以被认为是对翻译准确性和流利度的一种统计估计。计算BLEU分数时,首先会统计生成文本中n-grams的频率,然后将这些频率与参考文本中的n-grams进行比较。

2024-07-13 23:08:43 1504

原创 Datawhale AI 夏令营 学习笔记——机器学习竞赛——Task1

传统模型适合数据量较小、模式简单的问题;机器学习模型适合中等复杂度的问题,可以引入额外变量;深度学习模型适合数据量大、模式复杂的任务。

2024-07-13 19:49:04 631

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除