论文记录
文章平均质量分 77
YingJingh
这个作者很懒,什么都没留下…
展开
-
法学领域的技术创新点
2022年的新任务。词级别分类,有点像序列标注,但不需要在所有词上面做预测。一共108种事件类型。训练集、验证集1来自于论文 LEVEN(ACL 2022 Findings), 包含8000+份文书,60000+个句子。验证集2和最终测试集将以混淆数据的形式向选手开放。作者:Erutan Lai链接:https://zhuanlan.zhihu.com/p/550558067来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。原创 2023-08-11 10:58:32 · 379 阅读 · 0 评论 -
AAAI论文阅读
报告句子含糊不清的原因是:(1)医学术语的含义与日常一般用法不同,如unsmarkable;最近的一项研究表明,经过大规模预训练的 LM 在复杂语境(如对话)下仍难以进行这种时间推理,因为它们只能隐式地编码相关语境,而不能显式地揭示复杂推理的基本逻辑组合。我们采用多角度训练方法,为文本简化添加了两种可控性:位置感知(使用原位注释输入和输出)和位置无关(模型只知道要编辑的内容,但不知道它们的位置)。然后,通过扰动模型的隐藏状态,使用该模型改写模棱两可的输入,并将生成的结果推向对其考试结果更加明确的方向。原创 2023-08-08 21:56:35 · 1555 阅读 · 0 评论 -
条件语义相似度-CSTS
不同方面去做相似度的评价,语料库的收集上是有一定技巧的,并不是完全从头开始。损失函数构造上的思路,不是很理解,为什么没有设置为多任务形式而是将两个(high&low)的损失值放在一个损失函数里。相似度也是评价角度之一,涉及到评价的,应该将结果单一值转向结果云的形式,其中论文中的条件,就是结果呈现的不同角度。原创 2023-08-08 10:10:31 · 235 阅读 · 0 评论 -
指标体系构建与验证
在指标验证上,多是以数值型数据为主,比如通过问卷调研中的量度测评得到指标重要程度,在做因子或者信度或者关联性分析等等。AHP层次分析法中的指标有效性验证软件:Yaahp6. 0 软件。原创 2023-08-07 15:55:21 · 539 阅读 · 0 评论 -
ACL2023论文-系列1
是把常识知识融入到prompt,用于推理。生成知识提示,包括从语言模型中生成知识,然后在回答问题时提供知识作为额外输入。原创 2023-07-19 09:52:35 · 662 阅读 · 0 评论 -
大模型微调方法调研
对原始模型部分参数进行冻结操作,仅训练部分参数。原创 2023-06-14 09:34:30 · 1000 阅读 · 0 评论 -
Generating Training Data with Language Models: Towards Zero-Shot Language Understanding
我们在不同的训练步骤中记录Cφ对每个训练样本(x g , y)的预测pφ = pφ(x g ),并使用累积的移动平均预测值z¯来规范最新的模型训练。通过设置α<1和β>1,我们可以促进x s中未在x g中出现过的代币有更大的机会被生成,并阻止x g中重复代币的生成,以减轻退化性重复。最终的训练函数:从模型预测中加入KL发散正则化项,以λ为权重的合集预测。大致来说,是利用GPT模型在给出prompt下的情况下,生成训练文本。在计算数据instance的概率时,使用算数平均作为概率值。原创 2023-06-12 10:57:08 · 146 阅读 · 0 评论 -
InstructGPT:Training language models to follow instructions with human feedback
通过人类反馈的微调,在广泛的任务中使语言模型与用户的意图保持一致。原创 2023-06-12 10:36:21 · 1030 阅读 · 0 评论 -
Masked Autoencoders As Spatiotemporal Learners
(a): 随机抽样是与空间时间无关的。(b): 仅限空间的随机抽样,广播到所有的时间步骤("管子 "屏蔽[77])。©: 仅限时间的随机抽样,广播到所有空间位置("框架 "掩蔽[77])。在mask的比例设置上,根据信息的冗杂度,在文本上bert是使用了15% ,在图片数据上是使用了75%,在视频video数据集上是使用了90%。BERT[15]对语言使用15%的掩蔽率,MAE[31]对图像使用75%的掩蔽率,这表明。基本思想是重构,使用的类似于BERT的mask 然后reconstruct的方式。原创 2023-06-12 10:27:43 · 676 阅读 · 0 评论 -
刘知远:大模型值得探索的十个研究方向
网络架构:Transformer是终极框架吗?安全可信:如何改善大模型中的安全伦理问题?认知学习:如何使大模型获得高级认知能力?刘知远:大模型值得探索的十个研究方向。高效适配:大模型如何适配到下游任务?可控生成:如何实现大模型的可控生成?基础理论:大模型的基础理论是什么?易用性:如何降低大模型的使用门槛?高效计算:如何使大模型更加高效?创新应用:大模型有哪些创新应用?数据评价:如何评估大模型的性能?原创 2023-06-10 20:51:50 · 309 阅读 · 0 评论 -
230530-论文整理-课题组2
对这些研究有点兴趣颇微。原创 2023-05-30 19:20:09 · 1158 阅读 · 0 评论 -
20230530论文整理·1-课题组1
个人观点,现在的NLP文章,有些是在做积木,微创新,有些文章,是可以的,读起来很美,有些,太过逆了,吃起来没味道,反胃。原创 2023-05-30 18:20:06 · 1216 阅读 · 0 评论 -
基于关系抽取的相似度计算
知识图谱嵌入:知识图谱嵌入是将知识图谱中的实体和关系转换为数值化的表示,可以看成一个基础任务,学习出的嵌入表示可以用于各种和知识图谱相关的任务。原创 2023-05-25 19:12:27 · 1186 阅读 · 0 评论 -
Big_models的解释
大模型的解释-语言模型(GPT4 解释 GPT2)原创 2023-05-21 16:01:52 · 690 阅读 · 0 评论 -
model_API 上手即用型
hugging face网站中集成了多款PLM,在我们后期应用这些PLM的过程中,一般是使用transformer库,直接加载存储在huggIng face中的PLM。为了更便于使用models,huggIng face中出版了相关的教程,colab形式,点击即可运行。HuggingGPT,一键控制10万多个AI模型。原创 2023-05-21 10:34:22 · 59 阅读 · 0 评论 -
论文笔记——chatgpt评估+
论文是从开放域和限定域两个角度对chatGPT的**performance、可解释性、校准性(calibration)和可信性(faithfulness)**进行了评估(assessment)。(performance、explainability、calibration、faithfulness四个维度进行测评的)以上评估是杂7个细粒度知识抽取任务中进行的。performance(表现):chatgpt在不同任务下的性能表现。原创 2023-05-04 18:40:09 · 3386 阅读 · 1 评论 -
卡耐基梅隆与多家知名研究单位共同提出在LLM中引入自反馈机制
与人们一样,本文引入了SELF-REFINE框架,通过反复的反馈和改善,类似地改进LLMs的初始输出。最后,通过使用其自身的反馈,同一模型改进其之前生成的输出。本文在7个不同的任务中进行了实验,涵盖从评论改写到数学推理的范围,证明了本文的方法优于直接生成。在所有任务中,使用SELF-REFINE生成的输出得到人类和自动化度量标准的更好评价,相对于直接使用GPT-3.5和GPT-4生成,平均改进幅度约为20%。**基础模型用来生成输出,反馈模型用来对输出进行评估,并为基础模型提供反馈。原创 2023-04-04 19:50:16 · 558 阅读 · 0 评论 -
chatGPT联结hugging face了
可以发现,即使有多个任务资源,HuggingGPT也能将主要任务分解成多个基本任务,最后整合多个模型的推理结果,得到正确答案。在ChatGP和专家模型的配合下,HuggingGPT可以解决语言、图像、音频和视频等多种模式的任务,包含了检测、生成、分类和问题回答等多种形式的任务。所以,HuggingFace社区中的每个AI模型,在HuggingGPT库中都有相应的模型描述,并将其融合到提示中以建立与ChatGPT的连接。为了处理复杂的人工智能任务,LLMs应该能够与外部模型协调,以利用它们的能力。转载 2023-04-03 10:39:08 · 224 阅读 · 0 评论 -
论文复现-3:ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer
sentence_transformers存放的是python tool中的sentence_transformers的具体模块。data_utils:数据加载的过程,在中文数据加载中使用的是:load_chinese_tsv_data。transformers存放的是python tool中的transformer的具体模块。data 是process之后的数据集,用在model的train过程中。datasets是放置data的zip的文件夹。正在git中向作者请教。原创 2023-03-31 19:45:07 · 131 阅读 · 0 评论 -
论文复现-2:ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer
数据集中是sentence pair形式存储的数据集,每行数据包括两个内容,一个是original sentence,一个是reference sentence。encoder是使用bert的encoder,使用的average pooling做的constractive loss计算。在之后的model.fit以及其他过程中,都是使用的sentence transformer中的文件。以上这些函数是从已经预定好的库中引入的,是从已经定义好的python tool中导入的。原创 2023-03-29 22:19:56 · 284 阅读 · 0 评论 -
论文复现-1:ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer
作为了参与loss计算的semantic representation3、在constractive loss layer,是要保持similarity 的samples的距离尽可能的近,而dissimilar的samples的距离尽可能的远。原创 2023-03-29 11:24:57 · 277 阅读 · 0 评论 -
训练中文版chatgpt
经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。论文地址:https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/2023年2月底,Meta推出了最新的语言模型LLaMA,参数量分别是70亿(7B)、130亿(13B)、330亿(33B)和650亿(65B)。原创 2023-03-28 11:39:50 · 13385 阅读 · 0 评论 -
GPT-4创造者Ilya Sutskever访谈
原文链接:https://hub.baai.ac.cn/view/25065推荐看原文。阅读学习。作为GPT系列模型背后“组装者”和推动者,毫不夸张地说,没有Ilya Sutskever,就没有现在的ChatGPT以及GPT-4。他正在改变世界。更惊人的是,十年前,他已经改变过一次世界。那个引发深度学习新一轮革命浪潮的AlexNet也与Ilya有关,他是AlexNet的作者之一,后续随之而来的AlphaGo、GPT、CLIP、DALL-E和Codex都离不开他的贡献。从推动这一系列变革的科学家角度,他转载 2023-03-27 22:21:39 · 370 阅读 · 0 评论 -
对比学习顶会论文系列-3-2
从文中的摘要中,文中给出了研究的目标缩减learning objective 和 evaluation metric之间的gap现在已有的在摘要抽取上的方法是以sequence 2 sequence 为主的学习框架,在这个框架下,一般是采用极大似然估计作为损失函数更新模型参数(maximum likelihood estimation——MLE training)原创 2023-03-23 10:59:47 · 787 阅读 · 0 评论 -
顶会中的对比学习论文-2
对比方法:互补的mask方法,将一个输入进行多次mask,第一次的mask的比例是, 第二次mask的时候只针对第一次mask中没被选择的token以的比例进行mask,所以两个句子被mask的部分是互补的,第三次以此类推。文中对比的是:BERT的中间层表示和最后的CLS的表示。本文主要针对的是无监督OOD进行训练,策略是先用有监督对比学习在IND数据上训练,然后用cross-entropy损失对分类器fine-tune,有监督对比学习的目标是拉近IND中属于拉近同一类别的意图,推远不同类别的意图。原创 2023-03-20 22:43:24 · 446 阅读 · 0 评论 -
GPT4 泄露的信号
所谓Self Instruct,就是采取一定技术手段,不用人工标注Instruct,而是从OpenAI的接口里,好听点叫“蒸馏”出Instruct,也就是不用人标注,而是ChatGPT作为teacher,给你的Instruct打上标注结果。GPT 4.0去年8月就做好了,估计现在GPT 5.0正在炼丹过程中,这么长的时间窗口,结果Google都能落到目前这个局面,想想Transformer、CoT等非常关键的一些研究都是自己做出来的,竟沦落至此,不知一众高层作何感想。如果归纳下,这个方向可以被称为“原创 2023-03-20 11:24:38 · 579 阅读 · 0 评论 -
NLP中的对抗学习VS对比学习-1
思维导图链接:https://www.processon.com/mindmap/64159f9ff502f062b5d616be是为了让模型更鲁棒,对噪声更加的不敏感。在实现这一点上,有对抗防御、对抗攻击和对抗训练。对抗防御是识别出更多的样本对抗攻击是为了构造更多的样本对抗训练是将样本添加到模型中,以提高模型的鲁棒性embedding是词的表示的一种,一般是可以互相替换的词之间的相似度是比较高的。 大概还是和最初的训练objective 有关,一般的Word embedding的训练是根据自监督原创 2023-03-18 22:49:30 · 1519 阅读 · 0 评论 -
厦大纪老师chatgpt相关讲座3.7
在线更新数据,迭代学习训练,进而提高模型性能。比较明显的是API部分,这一步学习的就是intruction,实现人机写作的复杂数据充足,维基类似于百度百科transformer结构更有优势,预测下一个字,模型越大,则condition的range大。模型遗忘是当模型做一个新任务时,就会忘记旧的任务,而模型足够大,就不会发生这种作用。大的数据+大的模型——chatgpt**下图中的数据,多为猜测。数据的搜集过程,无法复制?不仅给出了答案,还给出推理chain。。原创 2023-03-07 18:05:01 · 2093 阅读 · 0 评论 -
23.3.1调研
上一篇调研之后,还是没有思路,继续调研文献。原创 2023-03-02 15:01:46 · 404 阅读 · 0 评论 -
论文调研——23.2.28
主要是因为chatgpt出现之后,NLP方向的小论文有点没底。调研下,找找方向。原创 2023-02-28 20:08:54 · 439 阅读 · 0 评论 -
基辛格等分享: ChatGPT 预示着一场智能革命,而人类还没有准备好
我们迫切需要开发一种复杂的辩证法,使人们能够挑战生成人工智能的交互性,不仅要证明或解释人工智能的答案,还要审问它们。带着一致的怀疑态度,我们应该学会有条不紊地探索人工智能,并评估它的答案是否值得信任以及在多大程度上值得信任。这将需要有意识地减轻我们无意识的偏见、严格的培训和大量的实践。如果 ChatGPT 提出的警示没有转化为公认的人类努力,社会的异化甚至革命就有可能发生。这对掌握我们迫在眉睫的未来提出了某些要求。对人工智能的信任需要在多个层面上提高可靠性——机器的准确性和安全性、人工智能目标与人类目标的一转载 2023-02-28 14:22:07 · 1444 阅读 · 0 评论 -
语义对齐&事实虚假性
2], [3],但目前基于对比的方法的中间层表示遭受了更低的分辨能力,这对于需要。原创 2023-02-23 15:27:09 · 504 阅读 · 0 评论 -
少样本-图像Improving Zero-Shot Phrase Grounding via Reasoning on External Knowledge and Spatial Relations
内侧、覆盖、重叠、左上角、右上角、左下角、右下角和不相关。这图对于理解文章的创新点有些帮助,这个的任务是找到图中的拐杖。总结来看,是三个方面的创新,一是外部知识图谱的引入,而是基于图的推理,三是空间关系推理。原创 2023-02-23 11:41:21 · 112 阅读 · 0 评论 -
条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models
先猜一下,为神魔会有这种方案出来?我想是因为end-2-end的调优是比较简单快速,而且效果相较而言还能够接受的一种,但是,在LLM上的微调,参数规模太大了,很难有效的调整,又能够适应小游玩家,又能提高效率,在LLM中加入条件控制语句就成了一种方案。文中还解释了一种场景,是在比较细节的调整中,比如人的姿势,如果使用prompt的方式的话,很难调整效果达到一个可接受的情况。controlnet的参数控制和另一种模型蒸馏好像有点关系,也是在模型中嫁梯子,达到最终的目标。架梯子好像有点意思啊,可以多想想。原创 2023-02-23 11:09:44 · 3039 阅读 · 1 评论 -
扩散模型——入门1
昨天对扩散模型有了初步的了解,觉得很妙,每一步中加噪声,最终的问题是回归问题,将模型回归到正态分布的均值和方差上。逐步加噪声,不在使用生成器。扩散模型的公式需要跟进。这一篇是基础的了解,知道大概是什么东西,怎么做的?它的前后左右时什么?原创 2023-02-23 10:08:56 · 590 阅读 · 0 评论 -
为什么Yann lecun知乎问题——(杨立昆)对chatGPT持否定态度?
我大胆猜测,从草履虫到灵长类动物的亿万年进化过程,很有可能就是我们的预训练过程,我们的模型参数权重,写在了DNA里被一代又一代更新。2012 年,在计算机视觉领域的知名华人科学家朱松纯担任 CVPR 大会主席期间,LeCun 曾给他写信抱怨,自己的论文报告了很好的实验结果,但是审稿的三个人都认为论文说不清楚到底为什么有这个结果,于是便拒稿。用户1:Yann LeCun 对 GPT 系列的观点可能是基于以下几点:数据驱动:杨乐昆认为,GPT 系列模型的能力取决于大量的训练数据,而不是技术本身。原创 2023-02-21 08:32:15 · 400 阅读 · 0 评论 -
我也要有这种感觉,不是太悲观,而是这就是现实。
chatgpt下的科研商业:https://www.zhihu.com/question/571460238/answer/2889630802。原创 2023-02-18 19:20:50 · 70 阅读 · 0 评论 -
chatgpt系列文章-23.2.15(主要还在发现chatgpt的不足,偏探索,像报告)
文章主要是研究chatgpt出现后,在学术界中可能出现的学术抄袭和剽窃现象。这篇文章就比较了几种剽窃抄袭软件,来测试是否能够识别chatgpt编写的内容。最后得到的结论是:利用chatgpt本身就能识别出或者判断出,某段文本是不是chatgpt编写的?原创 2023-02-15 21:20:35 · 1540 阅读 · 0 评论 -
Toolformer: Language Models Can Teach Themselves to Use Tools
1) 大模型的不足或者本文的问题来源:最新的事件信息、相关事实的倾向不能捕捉,理解低资源语言的困难,缺乏进行精确计算的数学技能(Patel等人,2021)和对时间的进展没有意识(Dhingra等人,2022)2) 数据集的获取上。原创 2023-02-15 15:17:23 · 951 阅读 · 0 评论 -
人工智能的相关测评——如何保证语言模型是准确的?
这些模型在公共访问方面有所不同:一些是开放的(例如,BigScience的BLOOM(176B)),另一些是通过API有限访问的(例如,OpenAI的GPT-3(175B)),还有一些是封闭的(例如,微软/NVIDIA的TNLGv2(530B))。指令调优是OpenAI和Anthropic开创的用人类反馈微调LM的做法,在准确性、鲁棒性和公平性方面非常有效,允许较小的模型(例如Anthropic-LM(50B))与尺寸的10倍的型号竞争(微软/NVIDIA的TNLG v2(530B))。转载 2023-02-07 08:22:42 · 438 阅读 · 0 评论