前沿技术paper
文章平均质量分 92
J_Xiong0117
一枚终生学习的算法工程师
展开
-
AIGC:【LLM(八)】——Baichuan2技术报告
大型语言模型(LLMs)已经在各种自然语言任务上展示了惊人的性能,只需少量自然语言指令的示例,就能减少对大量特征工程的需求。然而,大多数强大的LLM都是闭源的,或者在其能力上受到英语以外的其他语言的限制。在本文技术报告中,我们介绍了百川2号(Baichuan 2),这是一系列大规模的多语言模型,包含70亿和130亿个参数,从0开始训练,共使用2.6万亿个标记。在公共基准测试如MMLU、CMMLU、GSM8K和人为评估中,百川2号与类似大小的其他开源模型相匹配或超过它们。此外,百川2号在医学和法律等垂直领域表原创 2023-09-13 17:36:38 · 879 阅读 · 0 评论 -
AIGC:【LLM(三)】——JARVIS:连接ChatGPT和HuggingFace解决AI问题
解决具有不同领域和模态的复杂人工智能任务是通往人工通用智能的关键骤。尽管存在丰富的适用于不同领域和模态的人工智能模型,但它们无法处理复杂的人工智能任务。考虑到大型语言模型(LLMs)在语言理解、生成、交互和推理方面表现出色,我们主张LLMs可以作为一个控制器来管理现有的人工智能模型,以解决复杂的人工智能任务,并认为语言可以成为一种通用接口来增强这一过程。原创 2023-07-05 16:43:00 · 1362 阅读 · 1 评论 -
实体对齐(三):RNM
实体对齐旨在将来自不同知识图(KG)的具有相同含义的实体联系起来,这是知识融合的重要步骤。 现有研究侧重于通过利用知识图谱的结构信息学习实体嵌入来进行实体对齐。这些方法可以聚合来自相邻节点的信息,但也可能带来来自邻居的噪声。 最近,一些研究人员试图成对比较相邻节点以增强实体对齐。原创 2023-01-31 10:57:22 · 2315 阅读 · 0 评论 -
实体对齐(二):BERT-INT
基于 BERT 嵌入的知识图对齐方法原创 2022-11-08 16:50:09 · 1875 阅读 · 0 评论 -
通用信息抽取UIE论文笔记
一.研究背景与动机信息抽取目的信息抽取旨在从非结构化的自然语言文本中抽取出结构化的信息。主要任务命名实体识别关系抽取事件抽取观点抽取主要设置全监督低资源少样本零样本作用场景医疗金融法律美业农业教育信息抽取现有的问题任务难度大,落地成本居高不下。1)不同的信息抽取任务拥有差异较大的输出结构,难以统一化建模:实体识别任务一般是采用span及其实体类别表示关系抽取任务一般采用三元组(triplet) 结构表示事件抽取任务一般采用记录(record)原创 2022-05-26 16:54:01 · 1974 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(五)】——P-tuning V2
AbstractPrompt tuning仅使用冻结的语言模型调整连续提示,大大减少了训练时每个任务的存储和内存使用,然而,在 NLU 的背景下,先前的工作表明,对于正常大小的预训练模型,prompt tuning效果不佳。我们还发现,现有的prompt tuning方法无法处理硬序列标记任务,这表明缺乏普遍性。我们提出了一个新的经验发现,即适当优化的prompt tuning可以在广泛的模型尺度和 NLU 任务中普遍有效,它在只调整0.1%-3%的参数下可以与fine-tuning性能相匹敌。我们的方法原创 2022-02-11 17:46:36 · 2482 阅读 · 2 评论 -
知识图谱:【知识图谱问答KBQA(四)】——P-tuning V1
Abstract虽然具有传统微调的 GPT 未能在自然语言理解 (NLU) 上取得很好的结果,但我们证明采用可训练的连续提示嵌入 P-Tuning 的GPT 在 NLU 任务上可以优于或可与类似大小的BERT相媲美。在知识探测 (LAMA) 基准测试中,最好的 GPT 在测试期间无需提供任何额外文本即可恢复 64% (P@1) 的世界知识,这大大提高了之前的最佳水平 20+ 个百分点。在 SuperGlue 基准测试中,GPT 在监督学习中实现了与类似大小的 BERT 相当甚至更好的性能。重要的是,我们发原创 2022-02-09 15:57:44 · 1651 阅读 · 0 评论 -
Large-Scale Relation Learning for Question Answering over Knowledge Bases with Pre-trained Langu论文笔记
文章目录一. 简介1.知识库问答(KBQA)介绍2.知识库问答(KBQA)的主要挑战3.以往方案4.本文方法二. 方法问题定义:BERT for KBQA关系学习(Relation Learning)的辅助任务三. 实验1. 数据集2. Baselines3. Metrics4.Main Results一. 简介1.知识库问答(KBQA)介绍知识库问答(KBQA)旨在从给定结构化知识库(KB)中找到自然语言问题的答案,广泛用于现代问答和信息检索系统。传统的基于检索的KBQA方法通常将其构建为管道系统(原创 2021-12-29 18:02:32 · 926 阅读 · 0 评论 -
Sams-Net: A Sliced Attention-based Neural Network for Music Source Separation论文笔记
文章目录AbstractIntroductionMusic Source SeparationModel DescriptionScaled Dot-Product AttentionMulti-Head AttentionSliced AttentionDepthwise Separable CNNLayer NormExperimental ResultsConclusionsAbstract基于卷积神经网络(CNN)或长短期记忆(LSTM)的模型,输入谱图或波形,常用于基于深度学习的音源分离。本文原创 2021-02-02 20:12:08 · 712 阅读 · 0 评论 -
Effective Inter-Clause Modeling for End-to-End Emotion-Cause Pair Extraction论文阅读笔记
文章目录摘要介绍问题定义提出的方法文档编码用图形注意网络建模子句间关系基于内核的相对位置嵌入的句子对排序方法学习子句对表示Vanilla相对位置嵌入基于核的相对位置嵌入排列句对优化基于词库的提取实验结论和未来工作摘要情感-原因对提取的目的是从给定的文档中提取出所有的情感子句及其原因子句。之前的研究采用了两步方法,第一步分别提取情感子句和原因子句,第二步训练分类器过滤负面对。然而,这种管道式的情感-原因对提取系统由于存在误差传播问题,且两者之间的相互适应能力不强,是次优的。本文从排序的角度来处理情感-原因原创 2021-01-01 20:51:28 · 785 阅读 · 2 评论 -
Emotion-Cause Pair Extraction:A New Task to Emotion Analysis in Texts代码笔记
文章目录一. 加载语料和预训练词向量(load_w2v)Step 1. 加载训练语料(clause_keywords.csv)并统计emotion和cause字段覆盖的中文词wordsStep 2. 中文词words去重并生成 词-id与id-词 索引字典Step 3. 加载word2vec文件(w2v_200.txt)并生成词和对应词向量的映射字典w2vStep 4. 将训练语料中去重后的词转成词向量。遍历words,如果词在w2v中,就取对应的词向量,否则从均匀分布[-0.1,0.1]中随机取个200维原创 2020-12-27 18:44:00 · 633 阅读 · 4 评论 -
Emotion-Cause Pair Extraction:A New Task to Emotion Analysis in Texts论文阅读笔记
这里写自定义目录标题摘要介绍任务(对应创新点1)方法(对应创新点2)Step 1. Individual Emotion and Cause ExtractionIndependent Multi-task LearningInteractive Multi-task LearningStep 2. Emotion-Cause Pairing and Filtering实验数据集(对应创新点3) 和评估实验设置评估ECPE任务整体表现Upper-Bound of Emotion and Cause Inte原创 2020-12-20 15:36:06 · 1166 阅读 · 1 评论 -
ASR-Listen,Attend and Spell(LAS)论文阅读笔记
Listen,Attend and Spell(LAS)论文阅读笔记发表时间:2015年8月5号paper链接:https://arxiv.org/pdf/1508.01211.pdf简介Listen,Attend and Spell(LAS)是一种学习将语音转换成字符的神经网络。与传统的dnn - hmm模型不同的是,LAS模型联合学习(jointly)语音识别器的所有组件。LAS系统有...原创 2020-02-23 22:47:39 · 3484 阅读 · 0 评论