NLP
文章平均质量分 77
彭伟_02
Ph.D NLP in AI
展开
-
Meta发布最强开源模型Llama 3.1!超越GPT4o?
官方博客中,Meta 评估了超过了 150 个基准数据集的性能,比较了 Llama 3.1 与其他模型的能力表现,旗舰模型 Llama 3.1 -405B 在常识、可操作性、数学等一系列任务中可与GPT-4、GPT-4o 和 Claude 3.5 Sonnet 相媲美。在现实场景中,Llama 3.1 405B进行了与人工评估的比较,其总体表现优于GPT-4o和Claude 3.5 Sonnet。Meta 今晚正式发布 Llama 3.1 开源大语言模型,提供 8B、70B 及 405B 参数版本。原创 2024-07-24 09:31:38 · 380 阅读 · 0 评论 -
GPT 4.0 你知道的和你不知道的?
发布GPT-4的API公布技术论文 * 公开System CardChatGPT Plus:集成GPT-4的ChatGPT升级版工具整理:更多有趣MRC文章见:复旦团队发布国内首个模型MOSS 类ChatGPT【OpenAI 多模态预训练】VideoGPT?微软透露GPT-4或将在下周发布GPT4来了?10秒钟做一个网站ChatGPT?听说Biying把它下架了又一个国内类ChatGPT模型?【秘塔科技上线自研LLM大模型「对话写作猫」】BERT用于文本分类方法利用逆向思维的机器阅读理解。原创 2023-03-23 19:48:49 · 2212 阅读 · 0 评论 -
GPT4来了?10秒钟做一个网站
GPT-4是OpenAI在扩展深度学习道路上的最新里程碑。OpenAI期待GPT-4成为一个有价值的工具,通过为许多应用提供动力来改善生活。我们可以期待一下,上手试试来帮助我们完成更多的日常需求,未来几年再把语音加上,可能就能真正实现解放双手,寓教于乐了。更多有趣MRC文章见:复旦团队发布国内首个模型MOSS 类ChatGPTChatGPT?听说Biying把它下架了又一个国内类ChatGPT模型?【秘塔科技上线自研LLM大模型「对话写作猫」】BERT用于文本分类方法利用逆向思维的机器阅读理解相关文献。原创 2023-03-15 10:43:38 · 4486 阅读 · 0 评论 -
【OpenAI 多模态预训练】VideoGPT?微软透露GPT-4或将在下周发布
太绝了!看完ChatGPT之后就感觉OpenAI正在做多模态的预训练语言模型。万万没想到来的这么快。据介绍,GPT-4或将为多模态大模型,将提供完全不同的可能性——例如视频。(离谱到家了!3月10日 消息:微软德国首席技术官 Andreas Braun 在3月9日的 AI 启动活动中透露,微软将在下周推出 GPT-4。大家知道当前的ChatGPT只能处理文本信息,而GPT-4如果支持信息量更丰富的视频模型,显然会对更多领域产生深远影响。原创 2023-03-10 12:14:32 · 1182 阅读 · 0 评论 -
又一个国内类ChatGPT模型?【秘塔科技上线自研LLM大模型「对话写作猫」】
又一个国内类ChatGPT模型?【秘塔科技上线自研LLM大模型「对话写作猫」】说个题外话,今天一大早就收到了Biying的邮件。前段时间不是申请了New Biying的内测吗?下午可以尝试一下玩一会儿。如果体验感还不错或者还有很多bug,那我到时候再写一篇帖子来分享一下。一直期待中国有没有类ChatGPT产品可以出现。昨天,2023年2月27日,秘塔科技上线了自研LLM大模型「对话写作猫」,开始对外公测感兴趣的小伙伴可以点击下方的链接进行尝试。xiezuocat.com/chat看一下他的表现。原创 2023-02-28 12:43:23 · 4503 阅读 · 1 评论 -
ChatGPT?听说Biying把它下架了
所以New Biying到底是有自我意识,还只是它,哦不,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他…未来的发展如何在某方面对机器人做限制,以及机器人是否真的会产生自我意识,只是被researchers限制了还是说就没有,这背后的问题和答案或许在我有生之年就能看到。ok,总之看完网上的一些新闻,让我感觉到AI Bot用于干正事,做一些辅助是很不错的,因为我自己就试过。ok,言归正传,ChatGPT被用户指出它之前犯的错误后就急了!原创 2023-02-24 21:02:27 · 15546 阅读 · 10 评论 -
【一】情感对话 Towards Emotional Support Dialog Systems 论文阅读
今天给大家介绍一下Towards Emotional Support Dialog Systems这篇由黄老师团队发表在2021 ACL的数据集。原创 2022-11-04 15:32:46 · 1074 阅读 · 0 评论 -
情感支撑对话论文最近进展 Emotion Support Conversation
这一篇博客主要分析一下,目前在情感支撑,也就是心理咨询这个场景下面相关论文的一些最新情况,论文的链接以及主要的思想。后续会具体的来介绍每一篇文章的动机,方案,实验结果。原创 2022-11-03 21:21:16 · 2130 阅读 · 0 评论 -
SimCSE 对比学习方法
某厂四面技术面面试过程问到了SimCSE,遂记录一下,补个漏原创 2022-08-24 11:18:58 · 1149 阅读 · 0 评论 -
人工智能相关论文 2022 accepted papers list
人工智能相关论文 2022 accepted papers listAAAI-2021: https://aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdfICLR 2021 : https://openreview.net/group?id=ICLR.cc/2021/ConferenceEMNLP 2021 :https://ac原创 2022-06-17 17:45:35 · 1927 阅读 · 0 评论 -
人工智能相关论文 2021 accepted papers list
人工智能相关论文 2021 accepted papers listAAAI-2021: https://aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdfICLR 2021 : https://openreview.net/group?id=ICLR.cc/2021/ConferenceEMNLP 2021 :https://ac原创 2022-04-11 10:45:47 · 1336 阅读 · 1 评论 -
Semantic-Enhanced Explainable Finetuning for Open-Domain Dialogues 论文阅读
Semantic-Enhanced Explainable Finetuning for Open-Domain DialoguesProblem:如何在开放域中进行语义控制?Motivation:目前在一些任务型对话或者是协商和劝说对话当中,对话流会根据对话的act和策略去进行控制。如何在开放域问答将预训练语言模型和Modular diagram进行结合是这篇文章的主要动机。combine pretrained language models with the modular dialogu原创 2022-03-24 17:38:13 · 1388 阅读 · 0 评论 -
Hybrid Curriculum Learning for Emotion Recognition in Conversation 论文阅读 2022 AAAI
Hybrid Curriculum Learning for Emotion Recognition in Conversation改论文发表于2022 AAAI,阿里巴巴团队,旨在用课程学习解决对话情感识别动机:Motivated by recent studies which have proven that feeding training examples in a meaningful order rather than considering them randomly can boost原创 2022-03-21 10:49:11 · 2562 阅读 · 4 评论 -
GLUE数据集介绍:RTE、MRPC、SST-2、QNLI、MNLI、QQP
自然语言处理(NLP)主要包括自然语言理解(NLU)和自然语言生成(NLG)。为了让NLU任务发挥最大的作用,来自纽约大学、华盛顿大学等机构创建了一个多任务的自然语言理解基准和分析平台,也就是GLUE(General Language Understanding Evaluation...转载 2022-03-14 21:10:11 · 5435 阅读 · 0 评论 -
A Constrained Text Generation Challenge for Generative Commonsense Reasoning
A Constrained Text Generation Challenge for Generative Commonsense Reasoning发表会议以及作者:2020 EMNLP Findings Allen实验室任务:Given a set of common concepts; the task is to generate a coherent sentence describing an everyday sce- nario using these concepts.githu原创 2022-02-27 22:50:19 · 400 阅读 · 0 评论 -
学术论文科研写作方法总结--针对深度学习,自然语言处理等领域
学术论文科研写作方法总结针对刚入学的同学对学术论文的写作方法的探讨。第一部分有参考卜东波老师的讲义。前后修改的摘要对比如上图。总结书写思路:我们提出了什么包含几个模块每个模块的作用,达到的效果实验数据实验结果说明了什么直接给结论,不用再写分析之类的未来的工作(考虑其他因素,模型部分可以改进点)...原创 2021-12-23 15:32:58 · 3164 阅读 · 0 评论 -
prompt learning相关介绍
prompt learning相关介绍思维导图关于Prompt的相关内容分成三个方面介绍,做成PPT梳理给大家挑战prompt的设计问题仍然是一个值得探讨的方向。目前使用Prompt的工作大多集中分类任务和生成任务,其它任务则较少。如何针对不同的下游任务设计prompt?模型的表现同时依赖于使用的模板和标签的转化,如何同时搜索或者学习出两者联合的最好效果仍然很具挑战性。Prompt的理论分析和可解释性。尽管Prompt方法在很多情况下都取得了成功,但是目原创 2021-12-02 15:14:37 · 1852 阅读 · 2 评论 -
APER: AdaPtive Evidence-driven Reasoning Network for machine reading comprehension with unanswerable
APER: AdaPtive Evidence-driven Reasoning Network for machine reading comprehension with unanswerable questions 动机贡献做法实验论文全文链接This is the paper that published in 2021 Knowledge-Based System. Impact Factor, 8.038 (2020).动机在解决不可回答任务上,先前的方法有两个问题:First,原创 2021-08-21 11:20:33 · 942 阅读 · 1 评论 -
Glancing Transformer for Non-Autoregressive Neural Machine Translation
Glancing Transformer for Non-Autoregressive Neural Machine Translation 动机贡献做法实验动机NAT’s conditional independence assumption prevents learning word interdependency in the target sentence. (解决内部依赖)Previous methods require multiple passes of decoding,原创 2021-08-13 14:34:11 · 530 阅读 · 0 评论 -
文本生成评价指标 BLEU ROUGE CIDEr SPICE Perplexity METEOR
文本生成自动评价方法BLEU ROUGE CIDEr SPICE Perplexity METEOR1. BLEUBilingual Evaluation Understudy,双语评估辅助工具核心思想比较候选译文和参考译文里的 n-gram 的重合程度,重合程度越高就认为译文质量越高。unigram用于衡量单词翻译的准确性,高阶n-gram用于衡量句子翻译的流畅性。 实践中,通常是取N=1~4,然后对进行加权平均。计算公式其中 表示n-gram, 表示n-gram的权重; 表示短句子惩罚因子(br转载 2021-07-20 22:16:42 · 3365 阅读 · 0 评论 -
论文阅读Claim Verification虚假消息验证
《Unified Dual-view Cognitive Model for Interpretable Claim Verification》这篇文章是发表在2021年ACL上的,主要从认知的角度 Collective and Individual Cognition (CICD) 提出了Dual-view model解决Claim Verification任务。分以下部分介绍:MotivationIntroductionModelExperimentDiscussion1、Moti原创 2021-05-26 14:43:52 · 1044 阅读 · 7 评论 -
DeepMind新论文《Extending Machine Language Models toward Human-Level Language Understanding》认知科学模型
《Extending Machine Language Models toward Human-Level Language Understanding》https://cloud.tencent.com/developer/article/1556632这篇论文是由DeepMind、斯坦福大学、谷歌等的研究团队发表的,首先介绍了最近在NLP方面的突破,然后提出:机器要达到人类水平的语言理解能...原创 2021-04-13 15:57:31 · 253 阅读 · 0 评论 -
【学术快报】弦外音?言外意?朱露莎课题组揭示人类交流推理的神经计算机制
【学术快报】弦外音?言外意?朱露莎课题组揭示人类交流推理的神经计算机制交流是人类最重要的社会行为之一。我们通过交流来传递信息、获取知识、建立信任、达成共识。不同于竞争、合作、共情等高级社会认知功能,我们对复杂交流行为所依赖的认知和神经机制知之甚少。理解交流行为不仅需要对交流信号本身(如表情、手势、语音、词义、句法等)进行研究,还需要探索这些信号是如何在具体的社会情境中被灵活使用,表达含义。例如,当一个男孩试图邀请自己喜欢的女孩约会时,女孩回答“你是个好人”。男孩可能很快意识到女孩的“潜台词”——她对自己转载 2021-04-09 09:41:39 · 232 阅读 · 0 评论 -
论文笔记-Co-GAT: A Co-Interactive Graph Attention Network for Joint Dialog Act Recognition and Sentimen
Co-GAT: A Co-Interactive Graph Attention Network for Joint Dialog Act Recognition and Sentiment Classification动机where dialog act and sentiment can indicate the explicit and the implicit intentions separately. SC can detect the sentiments in utterances原创 2021-03-09 13:20:10 · 2164 阅读 · 9 评论 -
Bi-directional Cognitive Thinking Network for Machine Reading Comprehension 论文阅读
面向机器阅读理解的双向认知思维网络专知阅读链接摘要本文从互补学习系统理论的角度提出了一种新的阅读理解双向认知知识框架(BCKF)。它旨在模拟大脑中两种回答问题的思维方式,包括逆向思维和惯性思维。为了验证该框架的有效性,我们设计了一个相应的双向认知思维网络(BCTN),对文章进行编码,生成一个给定答案(问题)的问题(答案),并对双向知识进行解耦。该模型具有逆向推理的能力,有助于惯性思维产生更准确的答案。在DuReader数据集中观察到有效地改善,证实了我们的假设,即双向知识有助于QA任务。同时,这个.原创 2021-02-15 14:26:00 · 2026 阅读 · 1 评论 -
人工智能相关论文 2020 accepted papers list
人工智能相关论文 2020 accepted papers listAAAI-2020: https://aaai.org/Conferences/AAAI-20/wp-content/uploads/2020/01/AAAI-20-Accepted-Paper-List.pdfICLR 2020 : https://openreview.net/group?id=ICLR.cc/2020/ConferenceCOLING 2020 https://coling2020.org/pages/acce原创 2021-02-12 21:56:58 · 2984 阅读 · 3 评论 -
AAAI 2021 paper list
AAAI2021 accepted papers list可见paper list 链接AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf原创 2021-02-08 21:45:25 · 2623 阅读 · 3 评论 -
BERT,XLNET分词方法bpe,unigram等介绍
BERT,XLNET等分词方法先给一个结论吧,BERT,GPT使用的是wordpiece的分词方法,XLNET和transformer-xl使用的是sentencepiece的切分方法。概述在NLP中,分词的形式越来越多,从最开始的字切分,词切分,发展到更细粒度的BPE,以及跨语言的sentencepiece等等的切分方法。子词层面的切分方法是一种有效的文本切分方法,该方法可以有效的减小词表大小,并且让所有的词都能够被覆盖,并且使得且分开的子词都携带一定的含义,这就有效的解决了当前机器阅读文本所遇到原创 2020-12-20 22:24:15 · 5232 阅读 · 1 评论 -
Commensense Reasoning:SemEval-2020 Task 4: Guiding PLM with Prompt Template Reconstruction Strategy
《IIE-NLP-NUT at SemEval-2020 Task 4: Guiding PLM with Prompt Template Reconstruction Strategy for ComVE》这篇论文是中科院信息工程研究所雏鹰团队——机器阅读理解方向发表在2020SemEval上的报告。团队在国际语义评测大会SemEval-2020 Task 4-Commonsense Validation and Explanation–subtask A&C取得第三名,主要解决的问题是常识原创 2020-09-14 19:21:14 · 1428 阅读 · 0 评论 -
R4C: A Benchmark for Evaluating RC Systems to Get the Right Answer for the Right Reason
Motivation文章的目的是希望评估一个RC系统的内部推理,即用一种更细粒度方式体现模型确实在推理。(相比较一些datasets通过预测supporting facts来体现模型推理能力)对于之前的一些datasets,比如经常以who开头的提问,模型学习之后往往会从一些人名中选择答案。这种启发式的规则容易带来一些bias,而模型是否真正理解了原文,我们无从得知。另一个问题,作者提到结合多源的infos is not always necessay,其实这一点我保留怀疑,对于某些开放域的问题,多.原创 2020-08-08 21:29:32 · 519 阅读 · 0 评论 -
文本相似性的几种方法
总结一下关于文本相似性的几种方法无监督,不使用额外的标注数据词移距离词移距离使用两文本间的词嵌入,测量其中一文本中的单词在语义空间中移动到另一文本单词所需要的最短距离。average word vectors简单的对句子中的所有词向量取平均,是一种简单有效的方法,缺点:没有考虑到单词的顺序,只对15个字以内的短句子比较有效,丢掉了词与词间的相关意思,无法更精细的表达句子与句子之间的关系。tfidf-weighting word vectors指对句子中的所有词向量根据tfidf权重加权求和,原创 2020-08-05 18:11:18 · 3260 阅读 · 0 评论 -
人脸识别中的开集和闭集测试
人脸识别中的开集和闭集测试这个领域里可以简单分成两大类:• 人脸验证• 人脸检索做人脸识别的时候,需要根据业务需要来选择合适的测试指标,测试指标也远远不止文中提到的几个,这里就列举几个比较常用的。1. 人脸验证:给定两张人脸图片,判断两张图片是否为同一人。两个基本术语:误识率–人脸比对通过了但其实并不是本人的概率,通过率–将同一人正确识别出来的概率。其实都是根据实际业务定义的,人脸验证场景中,比如需要刷身份证的人脸闸机,一般希望误识率越低越好,因为不希望有人冒充混入,同时希望通过率越高越好,原创 2020-07-31 11:27:18 · 3768 阅读 · 0 评论 -
message passing neural network——MPNN
《message passing neural network 》这篇工作是2017 年的工作《Neural Message Passing for Quantum Chemistry》,消息传递神经网络(Message Passing Neural Network,MPNN)分为以下几个部分介绍:CONTRIBUTIONINTRODUCTIONMETHODRESULTSCONLUSIONCONTRIBUTIONMPNN在13个靶向物中达到很好的效果,而且在13个靶向物中的11个进行原创 2020-07-25 10:09:05 · 4115 阅读 · 0 评论 -
Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents
《Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents》这篇文章是发表在2020年AAAI上的,京东实验室。在hotpotQA数据集取得了较好的效果。是一个pipeline的结构,先检索然后再结合GNN进行推理。分以下四部分介绍:MotivationModelExperimentDiscussion1、MotivationMost existin原创 2020-07-12 11:52:38 · 1122 阅读 · 1 评论 -
多跳机器阅读理解Cognitive Graph for Multi-Hop Reading Comprehension at Scale
《Cognitive Graph for Multi-Hop Reading Comprehension at Scale》这篇文章是清华和阿里巴巴共同发表在2019acl上面。主要是从推理能力和可解释性方面结合预训练语言模型以及图神经网络,构造了CogQA。在hotpotqa数据集上面取得了很好的效果。分以下四部分介绍:MotivationModelExperimentDiscussion1、Motivation这篇文章认为深度学习已经取得了很大的进步,但是在人类和机器的理解能力方面还原创 2020-06-28 18:04:03 · 1455 阅读 · 0 评论 -
NLP(文本)中的对抗训练
《NLP中的对抗训练》最近在做百度的阅读理解竞赛,这次的竞赛目的主要是针对模型的鲁棒性。百度提出了dureader-robustness数据集,具体可以参考之前的博客《Improving the Robustness of Question Answering Systems to Question Paraphrasing》,有介绍到具体的问题和任务。那么针对上述的问题,能用什么方法解决呢...原创 2020-06-24 17:49:23 · 7144 阅读 · 4 评论 -
Improving the Robustness of Question Answering Systems to Question Paraphrasing
《Improving the Robustness of Question Answering Systems to Question Paraphrasing》新加坡国立大学这篇论文主要是解决模型的鲁棒性,提出了两个测试集,最后通过实验证明(数据增强),能够在提出的两个数据集上得到比较好的结果。动机:方法:训练一个模型 Paraphrase-Guided Paraphrasing ...原创 2020-05-05 14:26:37 · 1429 阅读 · 4 评论 -
A Robust Adversarial Training Approach to Machine Reading Comprehension
A Robust Adversarial Training Approach to Machine Reading Comprehension2020 AAAI 百度,北大,厦大动机:同样是针对robustness,one of the most promising ways is to augment the training datasetSince the types of adve...原创 2020-04-24 22:50:30 · 1007 阅读 · 0 评论 -
基于pytorch的transformer代码实现(包含Batch Normalization,Layer normalization,Mask等讲述)
基于pytorch的transformer代码实现2017年谷歌再nips上发表的《Attention Is All You Need》,完全基于Attention机制,解决RNN和CNN同时存在的问题,又将两者的优点结合。首先会介绍一下Transformer的由来以及结构,然后再介绍具体的实现代码,结合机器翻译实现。TransformerMotivationRNN的递归无法并行,长距离...原创 2020-03-09 17:26:37 · 10095 阅读 · 5 评论 -
NEURAL QUESTION REQUIREMENT INSPECTOR FOR ANSWERABILITY PREDICTION IN MACHINE READING COMPREHENSION
《NEURQURI: NEURAL QUESTION REQUIREMENT INSPECTOR FOR ANSWERABILITY PREDICTION IN MACHINE READING COMPREHENSION》这篇文章是Samsung research and South Korea发表在2020 ICLR上的。主要是针对机器阅读理解当中的不可回答问题,提出了一个自己的模块和一种新的...原创 2020-03-04 11:39:14 · 671 阅读 · 0 评论