NLP
文章平均质量分 80
InveR1el
这个作者很懒,什么都没留下…
展开
-
Pytorch情感分析(task6)
BERT情感分析数据集步骤构建迭代器构建模型设定超参数创建实例选择损失函数和优化器train/evaluatetest 数据集 IMDB 步骤 使用 transformers library 来获取预训练的Transformer并将它们用作embedding层。 将固定(而不训练)transformer,只训练从transformer产生的表示中学习的模型的其余部分。 在这种情况下,使用双向GRU继续提取从Bert embedding后的特征,最后在fc层上输出最终的结果。 import torch im原创 2021-10-01 00:44:56 · 512 阅读 · 0 评论 -
Pytorch情感分析(task5)
多分类情感分析数据集导入数据 数据集 从二分类的情感分析进阶到多分类情感分析,数据集采用TREC数据集,这个数据包括6个不同的问题类型。 导入数据 import os import time import torch import torch.optim as optim import torch.nn as nn import torch.nn.functional as F from torch.units.data import Dataset, DataLoader from sklearn.mod原创 2021-09-28 21:54:41 · 442 阅读 · 0 评论 -
文本匹配相关知识整理(更新中)
文本匹配相关知识整理【更新中】短文本匹配一、无监督方式word2vector + 相似度计算BM25二、有监督方式Siamese Network匹配聚合网络三、预训练语言模型有监督方式 + 无监督方式文本匹配常见思路(不写trick) 本人由于前段时间参加了讯飞中文重复问题识别挑战赛,对文本匹配这个方向做一下简单的梳理,方便参考学习以及面试。 短文本匹配 短文本匹配即计算两个短文本的相似度,通常分成无监督方式、有监督方式、有监督+无监督方式 一、无监督方式 考虑文本表征和相似度计算两个方面 文本表征:词袋模原创 2021-09-28 16:32:58 · 1814 阅读 · 0 评论 -
Pytorch情感分析(task1)
目录数据集简单的RNN模型搭建整体架构数据预处理 数据集 IMDb数据集 简单的RNN模型搭建 将使用pytorch和torchtext构造一个简单的机器学习模型来预测句子的情绪(即句子表达的情绪是正面还是负面)。 整体架构 数据预处理 import torch from torchtext.legacy import data # 设置随机种子数,该数可以保证随机数是可重复的 SEED = 1234 torch.manual_seed(SEED) torch.backends.cudnn.determi原创 2021-09-16 00:25:21 · 481 阅读 · 0 评论 -
PyTorch情感分析(task0)
目录软件和版本环境配置参考 软件和版本 根据项目要求重新配置了个环境… Pytorch == 1.8及以上 torchtext == 0.9及以上 Python == 3.7 transformer == 4.3(现用4.6.1) 环境配置 还需要安装spaCy用于标记数据,按照https://spacy.io/usage的指令 参考 https://github.com/datawhalechina/team-learning-nlp/tree/master/Emotional_Analysi原创 2021-09-14 00:28:02 · 271 阅读 · 0 评论 -
文本分类——数据分析预处理
文本分类——数据分析预处理当做个人备忘录加载数据查看缺失值查看标签分布并绘制直方图查看文本长度拼接标题后查看文本长度 当做个人备忘录 加载数据 import re import numpy as np import pandas as pd train = pd.read_csv('./data/train.csv', sep='\t') test = pd.read_csv('./data/test.csv', sep='\t') sub = pd.read_csv('./data/sample_sub原创 2021-09-13 16:36:02 · 802 阅读 · 0 评论 -
Datawhale开源教程学习——基于Transformer的NLP学习(BERT&GPT )
目录BERT的背景举例:用在句子分类模型架构模型输入模型输出 BERT的背景 BERT在2018年出现。2018 年是机器学习模型处理文本(或者更准确地说,自然语言处理或 NLP)的转折点。在 BERT 的论文发布后不久,这个团队还公开了模型的代码,并提供了模型的下载版本,这些模型已经在大规模数据集上进行了预训练。这是一个重大的发展,因为它使得任何一个构建构建机器学习模型来处理语言的人,都可以将这个强大的功能作为一个现成的组件来使用,从而节省了从零开始训练语言处理模型所需要的时间、精力、知识和资源。 使用B原创 2021-08-21 00:13:00 · 285 阅读 · 0 评论 -
Datawhale开源教程学习——基于Transformer的NLP学习(Transformer&Attention )
目录Task01&02Transformer的背景图解Attention图解Transformer细节理解Transformer输入EmbeddingSelf Attention Task01&02 Transformer的背景 基于深度学习(Deep Learning)的NLP技术在各项任务中取得了很好的效果,这些基于深度学习模型的NLP任务解决方案通常不使用传统的、特定任务的特征工程而是仅仅使用一个端到端(end-to-end)的神经网络模型就可以获得很好的效果。 常见的NLP任务主要分原创 2021-08-19 00:06:17 · 457 阅读 · 0 评论