图深度学习前沿工作汇总与解析

于 2022-01-20 12:06:00 发布
阅读量547 收藏
点赞数
文章标签： 神经网络 机器学习 人工智能 深度学习 大数据
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwNzc2NTk0NQ==&mid=2247523506&idx=2&sn=6ba052b9bdb59e96bf61f55c77f03e93&chksm=970fb464a0783d7288de318ee2ff81fcff1b1f9cdf548c209fd49d5c679b9727fc5b2a2d145b&scene=126&&sessionid=0
版权

图深度学习除了可以应用于标准图推理任务以外，还广泛应用于推荐、疾病或药物预测、自然语言处理、计算机视觉、交通预测等领域。

可见，基于图的深度学习不仅有助于挖掘现有图数据背后的丰富价值，而且还通过将关系数据自然地建模为图，有助于推进其他学科的发展，极大地扩大了基于图的深度学习的适用性，促使图的深度学习受到了广泛的欢迎。今天特地为大家整理了一些基于图深度学习的前沿工作，限时免费哦~

CogDL：助力图机器学习的研究与应用

01

主讲人

25e1946e18c8e4e5533936ad8710cee3.png

岑宇阔/嘉宾

02

嘉宾介绍

清华大学计算机系博士生，师从唐杰教授。研究方向为图机器学习与推荐系统，以第一作者的身份在KDD/TKDE等国际知名会议和期刊上发表多篇论文。

目前主要负责图机器学习工具包CogDL。CogDL在github上已有900多个星标，吸引了国内外学者的广泛关注。

03

分享内容

1. 图机器学习简介

2. 图神经网络模型基础

3. 前沿图神经网络研究介绍

4. 图机器学习工具包CogDL介绍

04

报名方式

免费报名并加入交流群

请备注关键词【33】

1d6e268bb91e8b93caae2e0880fdb530.png

基于图神经网络为群体机器人构建信息分享机制

01

主讲人

c5bfe3d0fa362e8f3dfcebb1ff05a94c.png

李庆标/嘉宾

02

嘉宾介绍

英国剑桥大学计算机系Prorok Lab博士生（师从 Dr Amanda Prorok）。博士期间主要研究有意识进行信息交换的群体机器人运动规划算法。主要探索基于图神经网络（GNN）为群体智能以及群体机器人构建信息沟通频道，使得群体机器人之间可以学习如何更有效进行显性的信息交换。研究工作可以用于随需响应（mobility-on-demand systems）, 自动化仓储物流，以及智慧城市。

发表顶会期刊论文10+篇，多次担任国际著名期刊T-RO, RA-L ，ICRA,IROS，AAMAS的审稿人。并受邀在浙江大学，上海交通大学，宾夕法尼亚大学和美国东北大学以及微软剑桥研究院，腾讯Robotics X做专题报告。

硕士就读于由杨广中教授和Ara Darzi爵士在帝国理工学院创立的Hamlyn Centre, 主要研究医疗机器人及医疗图像引导干预的现代医学技术。在Prof Daniel Elson的指导下，进行了为期八个月的关于用多光谱图像进行血氧饱和度估计的独立研究。在此加入Hamlyn Centre前，毕业于爱丁堡大学机械工程系。

03

分享内容

GNNs: from the concepts into its potential 

GNN in MAPF from simulation into real world

Research work: GNN in MAPF

04

报名方式

免费报名并加入交流群

请备注关键词【33】

ff26a6a1095331d0f40d8dcdfb3727c7.png

图机器学习中的数据增强技术

01

主讲人

58e24468b8dbb799d8fdd2defa281579.png

赵通/嘉宾

02

嘉宾介绍

圣母大学（University of Notre Dame）五年级博士生，即将作为research scientist加入Snap Research。曾获得Snap和亚马逊的奖学金。研究兴趣包括图机器学习、图表征学习和异常检测。论文多次发表在KDD、AAAI、CIKM、TNNLS、TKDE等顶级会议和期刊上。

曾担任众多知名会议（如KDD、NeurIPS、ICLR、AAAI等）及期刊（如TNNLS、TKDE等）的程序委员会委员和审稿人。The Machine Learning on Graph (MLoG) workshop (WSDM 2022)的组织者。

03

分享内容

1. 图机器学习及数据增强技术简介

2. 用于节点分类任务的图数据增强技术

3. 用于链路预测任务的图数据增强技术

04

报名方式

免费报名并加入交流群

请备注关键词【33】

c1cf50901cfb3aa96d060b3fcda81f90.png

夕小瑶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
清华大学：未来你的同学可能都是机器人？基于多智能体的教室环境模拟！
08-03 408
矩阵A（左上）显示了教师与教师之间的互动，B（右上）显示了学生或沉默到教师的互动，C（左下）显示了教师到学生或沉默的互动，D（右下）显示了学生与学生之间的互动。值得注意的是，在没有AI"同学"的情况下，用户和助教的发言长度显著减少，这表明AI"同学"的存在能够促进更多的课堂互动。特别是AI"同学"的加入，显著提升了学生的课堂参与度。在这个虚拟空间里，AI扮演了各种角色：循循善诱的老师、耐心解答的助教，甚至还有性格各异的"同学"——有深思熟虑的"思考者"，也有活跃课堂气氛的"开心果"。
博客
AI独角兽抢着上岸大厂了？Transfomer作者创办的Character.AI 正式被谷歌收编！
08-03 288
Character.AI最主要的收入来自于订阅会员套餐，但是截止到现在，订阅用户不到 10 万，仅占 7 月份 600 万日活用户的很小很小的一部分，尽管，包括语音聊天等功能上线，用户增长和产品运营表现良好，但付费转化率依然很低，近期收购价格相比去年 9 月的估值缩水了约 50%。从Character.AI 被收购我们可以看出，AI领域的竞争日益激烈，哪怕是独角兽，不能靠自身完成收益，最好的出处仍然是被雄厚的资金和技术实力的巨头公司收割。但是，大模型的运营成本高昂，需要大量的计算资源和数据支持。
博客
当Runway的AI遇上土耳其银牌枪手老哥……
08-02 784
各位兄弟最近奥运会看的怎么样了？就在昨天，一位土耳其的射击运动员突然走红了。这位叫优素福·迪凯奇的老兄，悠哉游哉地报了个混合团体10米气手枪，结果到了比赛那天，嘿，人家穿着最简单的白色T恤，鼻梁上架着副不起眼的近视镜，一手插兜，另一手轻松一挥，砰的一枪，那姿态，就像是刚从菜市场买完东西，顺道儿来比个赛似的。▲优素福·迪凯奇比赛照最让人瞠目结舌的是，就这样一副“没睡醒”的模样，他还硬生生地把银牌揣进了兜里。哦对了，据说他还穿着“人字拖”，简直是随性到了极点，让旁边那些全副武装的选手们情何以堪啊！
博客
人大高瓴发布Think-on-Graph 2.0，基于知识图的大模型推理再升级！
08-02 645
经常参加高考的朋友可能会体会到，比起死记硬背知识点，将知识整理成脉络往往会获得事半功倍的效果。其实对于大模型来说也是如此，哪怕被允许“开卷作答”，即通过检索增强（Retrieval-augmented generation，RAG）技术从知识库中为大模型取回相应知识作为参考，但当面对复杂问题的时候，RAG对大模型的增益效果也不尽如人意。毕竟“也正因如此，我们希望为大模型的思考方式注入类似知识框架的方法指导，而已经发展多年趋渐成熟的知识图（Knowledge-Graph，KG）或许将给我们一个解决方案。
博客
Gemini 1.5 Pro发布，赢了榜单第一，却被网友泼冷水
08-02 589
在被OpenAI背刺这么多次后，谷歌终于长记性了。并在Google AI Studio和Gemini API上，进行experimental 0801版本的测试。在LMSYS竞技场上，这个测试模型以1300分的成绩成功击败GPT-4o，夺得了排行榜第一。
博客
NVIDIA把Llama-3的上下文长度扩展16倍，长上下文理解能力超越GPT-4
08-01 990
长上下文对于提升大模型的理解能力有重要的作用，NVIDIA 通过将多种技术结合将 Llama-3 的上下文长度从 8K 扩展到 128K，弥补了在上下文长度层面与闭源模型的差距。扩展长度之后的模型 Llama3-ChatQA-2-70B 在长上下文理解任务上超越了 GPT-4等闭源模型。同时研究也揭示了在特定场景下 RAG 技术的优势，为不同应用提供了更灵活的选择。
博客
ChatGPT装进脑机系统！躺着就能和全网聊嗨, 这也太赛博了吧
08-01 796
Oxley表示，在过去的一年，公司也尝试了不同的AI大模型，但OpenAI的ChatGPT-4o的发布带来了新的可能性：“多模态4o是不同的，因为它使用来自环境的输入，这些输入就像用户大脑的延伸。它可以看、可以听、可以接收文本输入，所以当用户开始与提示互动时，它就有了实时的信息流，了解他们环境中发生的一切。
博客
北京大学：利用好不确定性，8B小模型也能超越GPT-4
07-31 884
与GSM8K和HumanEval这类需要LLM解决特定数学或编程问题的推理任务不同，AlpacaEval中50%的实例是信息查询类任务，且为开放式基准测试，没有确定的答案，其实例与难度比Arena-Hard和WildBench更简单。常用的解码策略有两种，一个是贪婪解码，即永远选择概率最高的下一个token，另一种就是采样方法，根据概率分布随机选择下一个token，常常使用温度参数平衡响应质量和多样性。对于采样生成，温度控制采样过程的随机性，较低的值使模型更具确定性，而较高的值使模型更随机。
博客
大模型“挣钱”新方法！用GPT-4优化众筹文稿，提高筹款成功率11.9%！
07-31 726
本文的目标不仅是测试特征的预测能力，更重要的是探索可操作的洞察，以指导撰写有效的众筹活动文案。相比之下，企业主对他们活动的文案却有更多的控制权和灵活性，允许他们将实用的语言表述增强融入他们精心制作的信息中，比如使文案更具情感吸引力并更符合社会导向，更多地关注捐赠者或受赠者的利益，或使用不常见的词汇来传达他们的故事。然而，因为许多从业者在组织成功的众筹活动方面经验有限，超过40%的众筹活动未能筹集到任何资金，尤其是来自欠发达地区的企业（如下图，圆圈的大小表示活动的总数，颜色表示资助活动的平均百分比）。
博客
重磅惊喜！OpenAI突然上线GPT-4o超长输出模型！「Her」高级语音模式已开放测试
07-31 485
OpenAI回应是“一直在努力提高语音的安全性和质量”，并允诺会在秋季将这项功能开放给所有的Plus订阅用户。除了语音模型，在OpenAI官网，他们还悄然开放了一个GPT-4o Long Output长输出模型的alpha测试，这个模型的测试时间会维持数周，名为。此外，在GPT-4o Long Output官文中，并没有公布其他创新性的变革，也就是说，这个长输出模型与原GPT-4o模型生成质量是没有太大差距。总之，模型反应很快，大家玩的很开心，如果有小伙伴拿到了测试资格，欢迎各位分享以下你们的体验感受哦~
博客
今日arXiv最热大模型论文：北京大学最新综述：视觉大模型中的漏洞与攻防对抗
07-31 944
本文清晰地整理出现有LVLM攻击方法，涵盖了LVLM攻击的最新发展。希望这篇综述能够为探索视觉语言大模型的安全问题的研究人员带来帮助~
博客
Apple intelligence 正式开启测试！第一波文本工具测试体验来啦！
07-31 660
这个功能最恐怖的地方在于，
博客
一万亿token！34亿张图像，扩大10倍！史上最大开源多模态数据集MINT-1T发布！
07-31 667
众所周知，现在训练AI最需要的是什么？数据，数据，还是数据。——毕竟只有让AI学好了，AI才能好好地回答你的问题，否则就会答非所问。但是喂给AI的数据，现在和GPU一样，成了紧缺资源。前不久有人试图用AI自己造的数据来喂AI，结果发现这样的话AI越学越笨，最后连他亲妈来了都不忍直视的那种。MINT-1T是一个包含一万亿token的多模态预训练数据集，它是史上最大的同类数据集，并且比以前的开源数据集更加多样化。
博客
南京大学发布百万规模文本生成视频数据集OpenVid-1M
07-29 995
通过对OpenVid-1M数据集和MVDiT模型的分析和评估，可以看出此项工作在文生视频领域做出的贡献：OpenVid-1M数据集为研究者提供了一个大规模且高质量的数据集，而MVDiT模型则提升了视频生成的质量和文本一致性。“巧妇难为无米之炊”，文生视频作为一个在AI中较为年轻的研究方向，由许多至关重要的问题还尚未解决，其中之一就是缺乏大规模高质量数据集，因此，最近南京大学提出了一个名为OpenVid-1M的大规模高质量数据集，它包含了100万个带有字幕的高质量视频片段。
博客
AI数据训AI，引发模型大崩溃！牛津剑桥最新研究，登上Nature发警告
07-29 945
我们都知道，AI大模型是需要现成的数据来训练，只有喂给AI大量的数据，AI才能“学富五车”。为此，不少AI模型在研发的时候，特别注重数据的数量以及质量——就好比上学的时候老师告诉你们，读书要读名著，不能读乱七八糟的东西是一个道理。具体来说，每一代模型都是基于前一代模型生成的数据进行训练的，随着代数的增加，模型的输出质量逐渐下降。当模型的训练数据主要来源于先前版本的模型生成，而不是原始的真实数据时，模型会失去对原始数据分布的理解，导致模型的表现或输出逐渐偏离预期，甚至完全无法反映数据的真实分布或特征。
博客
华为诺亚发布无限上下文大模型，超越SoTA 4.3%
07-28 914
华为诺亚方舟实验室这次真给大模型界来了个大招！他们的EM-LLM模型不仅实现了"无限"上下文长度，还在LongBench测试中超越了此前的最佳成绩，平均提升4.3%。这就像给AI装上了记忆芯片。EM-LLM的成功展示了跨学科研究的威力，仿佛让LLM上了一个"人类大脑速成班"。这一突破可能带来众多有趣应用，从能轻松解读《战争与和平》的大模型文学评论家，到记住你上月所有对话的超级客服，再到能处理繁琐合同的法律专家和分析全面病史的医疗助手。
博客
小模型狂飙！6家巨头争相发布小模型，Andrej Karpathy：大语言模型的尺寸竞争正在倒退...
07-28 911
过去一周，可谓是小模型战场最疯狂的一周，商业巨头改变赛道，向大模型say byebye~。OpenAI、Apple、Mistral等“百花齐放”，纷纷带着自家性能优越的轻量化小模型入场。小模型(SLM)，是相对于大语言模型（LLM）而言的，它们一般来说具有较少的参数和较低的计算资源需求。前OpenAI和特斯拉AI研究员Andrej Karpathy更是直言LLM大小竞争会出现逆转的趋势，预测模型将向着更小更智能的方向发展。为了快速理解，中文翻译如下：大语言模型的尺寸竞争正在倒退...
博客
AI浪潮下的“首届”奥运会！巴黎2024开幕在即，AI运动员助手、AI裁判员齐上场
07-27 574
幸运的是，AI技术已经为这类难题提供了解决方案。通过赛场上遍布的高清摄像头和植入球中的智能芯片，AI能够实时捕捉并分析比赛中的每一个细微动作，包括球的轨迹、速度以及是否越过关键界限，裁判员再也不用担心看不清比赛录像了。尽管Frank Ohme笑言探测黑洞对AI来说或许更为简单，但不可否认的是，AI在体育裁判领域的每一次尝试与突破，都在为人类带来更加公平、公正的竞技环境。想象一下，当你坐在家中，屏幕上跃动的不仅是运动员矫健的身姿，更有海量数据编织出的精彩花絮，为体育竞技这一全球共通的语言增添了丰富的层次。
博客
谷歌再被OpenAI截胡？训练数学AI拿下IMO银牌，不及SearchGPT放了空响..
07-27 765
我们都知道，现在的搜索引擎，例如Google，让我们不得不在一堆广告和不相干的内容中，找到我们需要的信息。在赛前，DeepMind通过证明或反驳数百万个数学问题来训练AlphaProof，并加强了模型的自证能力，以提供完美的解决思路。而AlphaGeometry 2与前身相比，使用了更大数量级的合成数据，并从头开始训练，以加强更复杂的几何问题的解决能力。也有网友厌倦了这种期货的发布方式，明明有好东西，却不舍得拿出来分享，只会让一小部分人去体验，真没格局！我们认为，比起现在的引擎，搜索可以有更多上升空间。
博客
免费不限次！智谱清影一上线就被玩疯了，国产AI视频生成卷起来了
07-27 691
而后，智谱在CogView的基础上延伸，于2022年提出并开源了在业界颇具影响力的文生视频模型CogVideo，这项工作被Meta提出的 Make-A-Video、Google的 Phenaki 和 MAGVIT、微软的女娲 DragNUWA、英伟达的 Video LDMs 等视频生成模型所引用。而CogVideoX，则是在CogVideo的基础上做了进一步系统性的优化，不仅生成效果更好，而且推理速度提升了6倍，实现了如今智谱清影仅用30s就能生成6秒视频的顺滑体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值