xxr233的博客

re-ranking模型，使用无监督方法达到有监督的效果，改善open QA中的passage retrieval阶段

Dense Passage Retrieval for Open-Domain Question Answering

任务：小样本文本分类创新点：已有的方法忽视了标签所蕴含的丰富语义在小样本学习中的作用，所以将标签名直接附在文本后输入BERT中，得到语义信息更加丰富的特征向量。support和query在加入标签信息后，其特征提取方法就不一样，因为query是没有标签的。所以，support和query分别采取了三种方法进行特征提取。最后使用prototypical network然后计算查询集和类别向量的欧几里得距离。再综合所有类别计算归属于某一个类别的概率。introduction在小样本学习领域，me

BERT刚出来的时候发这篇论文还行，现在的话就毫无创新了。因为有了代码的经验，再看之前的那些论文似乎就觉得很容易了，今天这篇是很简单的一篇《基于 BERT-BiLSTM 的短文本情感分析 杨奎河，刘智鹏》，没有什么创新的，不过他在论文中写的内容倒是可以帮助我理解代码。仿照这篇，我也能写出一篇BERT-BIGRU的论文，还是多情感分类的。模型结构：文本向量化表示层：常用的 Word2vec是以词为处理单元的文本向量表示方法，过程繁琐，需经历文本预处理、特征提取、特征向量表示、 向量拼接，最后才能.

常规任务从SemEval-2014 Task 4 发布的对ABSA任务的评测来看，大致细分了4个子任务Aspect term extraction：提取句子中的情感实体或者说情感对象Aspect term polarity：在第一个任务基础上，对情感实体进行极性分类（正面、负面、中性等）举个例子：I hated their fajitas, but their salads were great → {fajitas: negative, salads: positive}fajitas，

情感分析原文：https://github.com/sebastianruder/NLP-progress/blob/master/english/sentiment_analysis.mdIMDbIMDb数据集是一个二分类的情感分析数据集，包括了来自Internet Movie Database（IMDb）的50000条电影评论，分别标注为正面和负面两类情感。数据集包含偶数个正面和负面评论。评论打分满分为10分，分数<=4归为负面评论，分数>=7归为正面评论。每部电影的评论不得超过30条

在使用机器学习做简单的文本分类时，突然有这个疑问。使用词袋模型也就是CountVectorizer进行词表示（也就是特征提取啦），我只提取了一部分训练数据的特征去训练，然后测试数据单独进行词表示后进行预测，发现这准确率很低很低啊如代码所示import pandas as pdfrom sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizerfrom sklearn.metrics import f1_scorefr

在本节中，我们基于FastText算法实现一个模型论文，比之前的使用更少的参数，训练速度也明显加快准备数据FastText论文中的关键概念之一是它们计算输入句子的n-gram，并将它们附加到句子的末尾。这里我们使用bi-grams。For example, in the sentence “how are you ?”, the bi-grams are: “how are”, “are you” and “you ?”.generate_bigrams采用已经被分词的句子，计算bi-grams.

在上一阶段使用基础的RNN模型完成了简单的情感分析，这一节将在上一节的基础作出以下优化：packed padded sequencespre-trained word embeddingsdifferent RNN architecturebidirectional RNNmulti-layer RNNregularizationa different optimizer使得准确率提升到84%准备数据就像之前一样，使用Fields获得数据的处理方式我们将使用packed pad.

在本系列中将使用pytorch和torchtext构建模型来进行二分类情感分析，使用的数据集是IMDb（电影评论）introductionRNN网络普遍用在分析序列，一个句子用X={x1,...,xt}X = \{x_1,...,x_t\}X={x1​,...,xt​}表示，同一时刻，每一个词xtx_txt​输入模型中都会与上一个词产生的隐藏状态ht−1h_{t-1}ht−1​作用产生新的隐藏状态hth_tht​,如下公式：ht=RNN(xt,ht−1)h_t = RNN(x_t,h_{t-1}).

配一台台式机，除了显示器、键盘、鼠标外，最重要的主机大致包括以下配件：CPU：中央处理器，是电脑的运算核心及控制中心，cpu的好坏很大程度上决定了电脑的配置和性能 内存条：内部存储器，在开机时进行数据存储，关机后数据消失。体积小，速度快。 硬盘：外部存储器，他储存的数据断电后不会消失 显卡：通过计算，将数据转换为可以显示的数字或信号，传输到显示器上 主板：固定在机箱上，连接各个模块，从而实现功能 电源：将220V转为低直流电，为电脑主机提供电源 光驱，主要用于读取光盘，安装系统 其他输入输

BILSTM模型初始化1.torch.nn.Embeddingself.embedding = nn.Embedding(vocab_size,embedding_size,padding_idx=pad_idx)num_embeddings：嵌入字典的大小（词的个数）； embedding_dim：每个嵌入向量的大小； padding_idx：若给定，则每遇到 padding_idx 时，位于 padding_idx 的嵌入向量（即 padding_idx 映射所对应的向量）为0；功能

源码地址：https://gitee.com/xxr007/BILSTM-sentimentAnalysis.git数据探测得到了数据第一步应该做什么？当然是摸清这批数据的底，这个步骤也叫数据分析。对于用于做情感分析的文本数据，数据分析大概需要如下几步：数据总量多少条标签有几种，他们的比例是多少每一条的评论的长度是多少分词，去停用词后，每条评论的长度又是多少做一个词云图对于文本数据的分析用pandas这个库就够用了数据加载与封装模型初始化模型训练模型评估.

1.将本地的代码上传到码云上未被add的，是红色的commit是：绿色的push和被设置ignore的文件是：白色的在pychram上安装gitee插件 登录码云账号 创建仓库选择要上传的代码commit代码右键选择要上传的文件目录，选择git->commit文件较大，上传时间比较长这一步完成，在github上就可以看到代码文件了。第一次上传不需要pushpush代码 后续修改代码后需要先commit再push2.克隆码云的代码至Py

数据数据来源：一个比赛数据格式如下图所示：五个target，三个stance,文本是微博1.导入必要的库import pandas as pdfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.model_selection import StratifiedKFoldfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.me

stance detection，可理解为“立场检测”，stance即为人对个体、事物、事件所表现出的看法或者态度，如“支持、反对”。stance detection虽然也属于文本分类，但和基于主题的文本分类、情感分类有些差异，stance的表达是更隐晦的，因此分类难度更大。刚看到一篇关于立场检测的文章，一搜2019ACM上已经出了综述，故看看顺便记录一下。摘要：从自然语言文本中自动提取语义信息是一个重要的研究问题。随着在社交媒体网站、新闻门户网站和论坛等渠道人们可以自由方便地发表自己的言论，解决诸如情

标题：“Let’s Eat Grandma”: When Punctuation Matters in Sentence Representation for Sentiment Analysis作者：Mansooreh Karami*, Ahmadreza Mosallanezhad∗ , Michelle V Mancenido, Huan Liu 机构：Arizona State University, Tempe AZ, USA这个标题很点意思，我刚看到一脸懵“let's eat gra

作者介绍：埃利泽。斯滕伯格医学博士，神经科医生，具有医学和哲学双重学术背景这本书，光看目录就感觉到荒诞、神奇、有吸引力。每一个目录都是一个荒诞的问题，下面是我还没有看这本书之前对这些问题做的解答，哈哈哈，让我们开始吧！1.盲人做梦时会看见什么？天生的盲人是看不见这个世界的。我之前看到科普说盲人的世界并不是漆黑一片，就像失聪的人并不是一点声音都听不到一样，盲人看到的是马赛克后的世界？那么他们做的梦又是什么样子的，我很好奇。2.僵尸能开车去上班吗？3.想象能让你成为更好的运动员吗？就像我经常想象

科学必须是可证伪的！书中的一个例子：“我发现在大脑左半球的语言 区附近住着两个小精灵，它们有能力控制大脑许多区域中的电化学过 程。而且，长话短说，它们基本上控制了一切事情。但是，有一个问题 阻止我们看到它们，那就是小精灵有能力发现任何对大脑的侵入（外科 手术、X光等），一旦觉察到外界的探测，它们就会消失（我忘记说 了，它们具备隐身能力）。”看起来很荒诞对吧，但是你又不能找到某个切入点去证明这个理论是错的，也就是作者这个假设永远无法被证实是错的。所以这就不是科学，要讲一个研究成果认定为确定的科学事实

这一章我之前已经看了一部分了，但是感觉写的有点晦涩，也没有啥例子，不够生动形象。我想从第二章看起吧，回头再看这一章。