![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
读文章笔记与会议学习笔记
文章平均质量分 74
读一些公众号文章以及一些会议的笔记,记录重点
Laura_Wangzx
生活或许可以平淡,但生命绝不能平庸❤️
展开
-
台大李宏毅报告:ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程
台大李宏毅报告:ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程转载 2023-02-19 21:01:35 · 566 阅读 · 1 评论 -
CCL 2021 讲习班暨中国中文信息学会《前沿技术讲习班》第25期(CIPS ATT25)
CCL 2021 讲习班暨中国中文信息学会《前沿技术讲习班》第25期(CIPS ATT25)](CCL 2021 讲习班暨中国中文信息学会《前沿技术讲习班》第25期(CIPS ATT25跨视觉语言模态的联合语义建模和推理——魏忠钰1. 匹配2. Vision-based Text Generation Evalution3. VQAVisual Commonsense Reasoning (VCR)基于常识的视觉推理跨模态表征Contrastive cross-modality representation原创 2021-12-10 09:15:47 · 452 阅读 · 0 评论 -
SMP2021大模型技术论坛——部分PPT
SMP2021大模型技术论坛ERNIE系列语言模型——孙宇语义驱动可视化内容创造——段楠CogView-悟道文汇文图生成模型——丁铭如何训练一个全能的预训练模型?兼顾理解和生成的中文预训练模型CPT——邱锡鹏悟道文澜图文多模态大模型CPM-悟道文源语言大模型ERNIE系列语言模型——孙宇NLP理解任务单向/双向/Seq2Seq…自然语言处理NLP——计算机视觉CV——跨模态预训练语言可以映射到一个语义空间学习语义驱动可视化内容创造——段楠视觉内容上的生成与创造。生成一些没有见到的内容原创 2021-11-28 18:08:49 · 1638 阅读 · 0 评论 -
首期人工智能创新技术讲习班:从视觉问答到导航——段楠老师
首期人工智能创新技术讲习班:从视觉问答到导航——段楠老师模型One-stream ModelTwo-stream ModelEncoder-Decoder Model总结挑战模型One-stream ModelTwo-stream ModelEncoder-Decoder Model总结挑战...原创 2021-08-22 17:08:36 · 148 阅读 · 0 评论 -
首期人工智能创新技术讲习班“多模态认知计算与脑机智能”——黄民列老师
首期人工智能创新技术讲习班“多模态认知计算与脑机智能”——黄民列老师摘要预训练模型策略1:Beam Search策略:Top-k 举例挑战评估标准挑战摘要NLG任务预训练模型策略1:Beam Search策略:Top-k 举例挑战评估标准挑战...原创 2021-08-21 12:04:01 · 356 阅读 · 0 评论 -
读文章笔记(十三):多模态特征融合方法总结
读文章笔记(十三):多模态特征融合方法总结来源于:多模态特征融合方法总结多模态特征融合的方法大体分为三种:前端融合、中间融合和后端融合。原创 2021-07-16 21:29:41 · 2199 阅读 · 0 评论 -
读文章笔记(十二):图文音三模态预训练模型
读文章笔记(十二):图文音三模态预训练模型前言三模态预训练模型基本原理多层次多任务自监督预训练学习实验结果数据集来源于:自动化所研发全球首个图文音三模态预训练模型,让AI更接近人类想象力!前言多模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能的路径探索,其具有在无监督情况下自动学习不同任务、并快速迁移到不同领域数据的强大能力。近年来,互联网音视频数据呈高速增长,占比超过80% [1],纯文本的预训练模型只涵盖了互联网数据中的较少部分,更丰富的语音、图像、视频等数据并未被充分利用与转载 2021-07-08 09:51:38 · 745 阅读 · 0 评论 -
读文章笔记(十一):对比学习(Contrastive Learning)
读文章笔记(十一):对比学习(Contrastive Learning)对比学习来源于:对比学习(Contrastive Learning):研究进展精要对比学习对比学习属于无监督或者自监督学习,但是目前多个模型的效果已超过了有监督模型。目前研究大多数都是:充分使用越来越大量的无标注数据,使用越来越复杂的模型,采用自监督预训练模式,来从中吸取图像本身的先验知识分布,在下游任务中通过Fine-tuning,来把预训练过程习得的知识,迁移给并提升下游任务的效果。对比学习不依赖标注数据,要从无标注图转载 2021-06-28 11:44:32 · 1403 阅读 · 0 评论 -
读文章笔记(九):LV-ViT:探索多个用于提升ViT性能的高效Trick
读文章笔记(九):LV-ViT:探索多个用于提升ViT性能的高效Trick一级目录二级目录三级目录文章来源于:公众号:极市平台https://mp.weixin.qq.com/s/iWT7Udg5ohu_n9TKQGlJ2gpaper: https://arxiv.org/abs/2104.10858Code: https://github.com/zihangJiang/TokenLabeling本文目标不在于提出一种新颖的Transofrmer架构,而是探索了用于提升ViT性能的各种训练技巧。通转载 2021-06-18 10:40:42 · 290 阅读 · 0 评论 -
读文章笔记(十):多任务学习
读文章笔记(九):多任务学习多任务学习优点多任务学习方法hard parameter sharingsoft parameter sharing多任务学习改进的方向注意事项来源于公众号:https://mp.weixin.qq.com/s/2I9iPFP_BkSjSEm7xJiHPQ早在2017年,SEBASTIAN RUDER研究员就对当时的多任务学习进行了详细总结:An Overview of Multi-Task Learning in Deep Neural Networks多任务学习优点转载 2021-06-18 10:39:21 · 601 阅读 · 0 评论 -
会议笔记(七):多模态情感计算的前沿讨论
会议笔记(七):多模态情感计算的前沿讨论会议日程:情感计算多模态情感表达——宋睿华(中国人民大学高瓴人工智能学院长聘副教授)多模态表达情感计算模型的比较论文:What if Bots Feel Mood?对话系统中的情绪——黄民烈(清华大学长聘副教授)情感计算在推荐系统中的应用——李晨亮(武汉大学特聘研究员)社交媒体文本立场分析及情感对话生成——徐睿峰(哈尔滨工业大学(深圳)教授)多风格的语音驱动说话人生成——贾珈(主持人、清华大学长聘副教授)主要内容:文本立场分析、多视角分析、问答立场、消融实验、跨目原创 2021-06-16 11:31:30 · 736 阅读 · 0 评论 -
读文章笔记(八):多模态情感分析数据集整理
读文章笔记(八):多模态情感分析数据集(Multimodal Dataset)整理双模态(一般是文本、图像和语音的两两组合)三模态(一般是文本、图像加语音)作者:骑着白马的王子地址:https://www.zhihu.com/people/pi-pi-57-67公众号:人工智能前沿讲习https://mp.weixin.qq.com/s/rWRJ8taUsIQAZFq3PD1-ng双模态(一般是文本、图像和语音的两两组合)1.《Multi-Modal Sarcasm Detection in Tw转载 2021-04-29 09:15:35 · 3964 阅读 · 0 评论 -
读文章笔记(七):赛尔笔记 | 多模态情感分析简述
读文章笔记(七):多模态情感分析简述相关任务概览公众号机器学习算法与自然语言处理文章链接:【赛尔笔记】 多模态情感分析简述https://mp.weixin.qq.com/s/DmtldzNcRAYXy0ApUj70uw相关任务概览转载 2021-04-29 09:07:40 · 1537 阅读 · 0 评论 -
读文章笔记(一):动手做个DialoGPT:生成式多轮对话模型
公众号文章学习转载 2021-01-14 23:50:29 · 681 阅读 · 0 评论 -
读文章笔记(二):模型结构优化前沿动态综述
公众号文章学习(二):模型结构优化前沿动态综述公众号东大自然语言处理实验室文章链接: link.NLP领域神经网络结构的发展历程:相关模型总结分析,NLP领域模型结构的整体趋势神经网络模型结构优化的趋势主要有三点:提升模型表示能力:局部依赖建模:现有的自注意力机制更加关注前后单词,无法很好地捕获局部依赖,例如表示短语信息。针对这一问题,一类解决方法是引入卷积操作,通过CNN捕获局部特征,与自注意力的全局特征进行融合,如Convolutional Self-attention (Ya转载 2021-01-15 10:04:27 · 239 阅读 · 0 评论 -
读文章笔记(三):从源码学习Transformer
读文章笔记(二):模型结构优化前沿动态综述公众号机器学习算法工程师 文章链接: link.转载 2021-01-23 15:07:26 · 97 阅读 · 0 评论 -
读文章笔记(四):深度学习文本分类|模型&代码&技巧
读文章笔记(四):深度学习文本分类|模型&代码&技巧https://mp.weixin.qq.com/s/TyPLs6iMewPGOHXMXXtsFg转载 2021-02-04 10:30:25 · 282 阅读 · 0 评论 -
读文章笔记(五):搞懂Transformer结构,看这篇PyTorch实现就够了
读文章笔记(五):搞懂Transformer结构,看这篇PyTorch实现就够了一级目录二级目录三级目录公众号:机器学习研究组订阅https://mp.weixin.qq.com/s/3NrRNCh7gs_aaRWEuc-gBA一级目录二级目录三级目录转载 2021-02-04 10:34:34 · 260 阅读 · 0 评论 -
读文章笔记(六):一份最新的、全面的NLP文本分类综述
读文章笔记(六):一份最新的、全面的NLP文本分类综述一级目录二级目录三级目录公众号:深度学习自然语言处理一级目录二级目录三级目录转载 2021-02-08 10:37:24 · 434 阅读 · 0 评论 -
会议笔记(六):图神经网络模型
会议学习笔记(六):《深入浅出GCN、GAT、GraphSage,MPNN等图神经网络模型》1. 图神经网络GNN的发展历程2. 从空域(Spatial domain)角度构建的图卷积模型2.1 GraphSAGE模型2.2 GAT模型2.3 MPNN框架3. 从频域(Spectral domain)角度构建的图卷积模型3.1 拉普拉斯矩阵的谱分解3.2 图信号上的傅里叶变换3.3 频域视角下的图卷积1. 图神经网络GNN的发展历程2. 从空域(Spatial domain)角度构建的图卷积模型原创 2021-01-28 21:16:49 · 515 阅读 · 0 评论 -
会议笔记(五):GNN在自然语言处理中的应用
GNN(图神经网络)在自然语言处理中的应用大纲GNN基础:GCN 和GATGNN分类:GCN 和GATGCNGATNLP场景:NLP场景:文本分类文本转换成树(图):Word-sentence relations文本转换成树(图):ParsingNLP场景:文本摘要生成文本摘要生成分类:2种抽取式摘要要考虑的问题:大致流程:细节1:构建图细节2:学习过程(GAT)细节3:Loss细节4:Predict预测NLP场景:社交网络分析Reference大纲GNN基础:GCN 和GAT图数据到处可见:社原创 2021-01-26 21:35:00 · 711 阅读 · 0 评论 -
会议笔记(四):图卷积神经网络
图卷积神经网络图卷积的背景知识图卷积:GCN与CNN的区别:GCN知识图谱KGCN——知识图谱RGCN——相关的RGCN应用:CompRGCNHyper GCN总结图卷积的背景知识CNN或者RNN无法得到图的信息,目前流行的:GCN——GAT(加入了注意力机制)图卷积:特征矩阵:每个结点对应的特征矩阵的维数输入:邻接矩阵、特征矩阵输出:特征矩阵GCN与CNN的区别:GCN:CNN加了图GCN归一化:防止影响模型收敛。使得对角线是有值的。对每行取一个最大值知识图谱KGCN原创 2021-01-23 15:59:46 · 285 阅读 · 0 评论 -
会议学习笔记(三):第十五届《前沿技术讲习班》之邱锡鹏:NLP中的预训练模型
第十五届中国中文信息学会暑期学校暨中国中文信息学会《前沿技术讲习班》的回放链接:http://conference.cipsc.org.cn/ssatt2020/学习笔记邱锡鹏:自然语言处理中的预训练模型摘要:讲座大纲:Part1:自然语言表示学习1. 什么是自然语言处理NLP2. NLP的基础:语言表示3. 词嵌入(Word Embeddings):4. 语言表示学习:5. NLP中语言表示模型(主要是神经网络模型)的一般架构:6.自然语言处理任务7.语言表示学习的几个问题:8. 自然语言表示学习9.原创 2021-01-18 20:18:39 · 405 阅读 · 0 评论 -
会议学习笔记(二):第十五届《前沿技术讲习班》之黄民烈:基于对话系统的信息获取
第十五届中国中文信息学会暑期学校暨中国中文信息学会《前沿技术讲习班》的回放链接:http://conference.cipsc.org.cn/ssatt2020/学习笔记黄民烈:基于对话系统的信息获取(Conversational Information Seeking with Dialog Systems)摘要讲座大纲对话系统背景对话系统的类型(19分18秒)对话信息获取主要的方向1. 任务完成2. 问答和阅读理解3. 知识有效嵌入4. 推荐相结合将来的挑战黄民烈:基于对话系统的信息获取(Conve原创 2021-01-15 21:30:57 · 436 阅读 · 0 评论 -
会议学习笔记(一):第十五届《前沿技术讲习班》之唐建
第十五届中国中文信息学会暑期学校暨中国中文信息学会《前沿技术讲习班》的回放链接:http://conference.cipsc.org.cn/ssatt2020/学习笔记唐建:Neural and Symbolic Logical Reasoning on Knowledge Graphs摘要简单介绍:1. Reasoning in Continuous Space:连续空间上做推理。2. Reasoning in Symbolic Space:符号逻辑上做推理。3. Neural-Symbolic Re原创 2021-01-15 17:50:51 · 665 阅读 · 0 评论