今晚 7:30 | 欧盟玛丽居里研究员王本友——《On position embeddings》

于 2022-05-11 08:30:00 发布
阅读量807 收藏
点赞数
文章标签： 算法 人工智能 大数据 机器学习 python
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzOTAxOTk3Nw==&mid=2247501760&idx=2&sn=7f6fa802f60843a337c439b0c0463a09&chksm=e932f566de457c70c2f463257ade5851d06027e667ad7e861ae11e89def8ea0dc3fc71da3726&scene=126&&sessionid=0
版权

点击蓝字

c66f17a6ec89fefb8a65580d9cd4ca5e.png

关注我们

AI TIME欢迎每一位AI爱好者的加入！

5月11日、12日晚19:30，本期我们邀请到欧盟玛丽居里研究员王本友和中国人民大学信息学院讲师张立峰给大家带来精彩的分享！

7269befecb7ee0b51b230176f421ce6e.gif

5月11日 19:30-20:30

df496e70ef25706e8dc20af43a1fe32c.gif

723d17c558525841c64a1020d632e1ec.png

王本友：

意大利帕多瓦大学博士生，欧盟玛丽居里研究员。将在2022年6月份作为助理教授加入香港中文大学（深圳）数据科学学院。在天津大学受宋大为和张鹏教授指导下获得硕士学位，曾在丹麦哥本哈根大学，加拿大蒙特利尔大学，荷兰阿姆斯特丹大学，华为诺亚方舟实验室，中科院理论物理所，社科院语言所交流访问。在工业应用方面，他2017年开始曾在腾讯全职工作，作为主要算法设计人员，在腾讯云上从零搭建了稳健的智能客服系统。在相对较短的学术生涯，他致力于构建更加鲁棒和智能的自然语言处理系统，兼顾技术合理性和语言学动机。迄今他和他的合作者一起获得了国际信息检索顶级会议SIGIR 2017最佳论文提名奖和国际自然语言处理顶级会议NAACL 2019最佳可解释论文，发表了包括国际顶级会议ICLR/SIGIR/WWW/NAACL/AAAI/IJCAI/CIKM等20余篇。

分享内容：

2fbd70867dfa4194077fc2d629c41f09.gif

On position embeddings

报告简介：

transformer广泛使用在nlp任务（特别是预训练模型），甚至开始用到cv领域崭露头角。transformer其结构除去位置编码将不能建模输入的顺序，所以位置编码及其重要。

目前很多预训练模型都用不同的位置编码（比如完全可学习的位置编码，三角函数式固定的位置编码，相对位置编码），经验上都表现不错，但是缺少一个统一的框架来理解和评价这些位置编码。

我们先从理论角度解释为什么三角函数式位置编码的动机，简单说就是以旋转的方式替换平移，以给词向量注入位置信息。

我们最新的工作形式化位置编码的一些原则上的属性（平移不变，单调和对称性），并评估存在的位置编码多少程度上满足这些属性，最后定量评估这些属性如何受益/损害下游任务。

我们发现完全可学习的位置编码在整句分类场景效果不错，得益于其能够灵活处理CLS特殊token和正常的位置；相对位置编码在span prediction上效果更佳。

学生招募信息

香港中文大学(深圳)数据科学学院王本友/李海洲教授团队招收自然语言处理/语音处理/机器学习方向的3名全奖博士生（可以2022FALL, 2022WINTER, 2023入学），3名研究助理，6名博后。

团队有着很强的工业界和学术界的联系，有着丰富的计算资源，有足够资源训练超大预训练语言模型，充分发挥团队内成员的科研创造力。

今年秋季入学博士申请尽量在六月前开始，本科生和硕士生都可以申请博士，需要雅思或托福成绩（有国外学位可以豁免），博士授予香港中文大学颁发的学位证；RA和post-doc随时可以，招满为止。

详情请见https://wabyking.github.io/files/JD4PhD-CUHKSZ.pdf  或者 https://zhuanlan.zhihu.com/p/500582441 。

详情亦可咨询wabyking@gmail.com

5月12日 19:30-20:30

174e1ceeef38ba075d98730456288039.gif

0c0204689979a4ab3dd9858c04de304b.png

张立峰：

中国人民大学信息学院讲师。主要研究兴趣包括两个部分：1）进化计算等智能优化算法的方法论研究，以及管理运筹算法和决策支持系统在生产实践中应用；2）系统辨识和机器学习的理论和方法论研究，以及统计方法在各种数据分析领域的应用。

分享内容：

3857f74005206d47773966cf09b109a0.gif

快速检测数据间复杂的相关关系

报告简介：

检测和区分变量间的关系是数据分析的一项基础工作，快速的找到和度量存在关联关系的变量既节约了研究者的时间，也为后续的分析与建模提供了有价值的方向指引。

本次研究提出了一类新的统计工具，即近邻相关系数（nCor），从一个全新的角度出发，能够有效地检测连续型、离散型，和分类变量间的关联关系。

与各类互信息（MI）的估值算法、MIC、dCor、RDC、HSIC等近年来的热点方法相比较，新的方法对各种数据类型、复杂关系的适用范围更广，检测能力和鲁棒性更强。

新方法也能更好的区分出可预测的、异方差的、交互的，和存在重叠的各类复杂数据关系，为后续分析与研究提供更深入和有效的引导。

本研究基于近几年已发表的三篇论文，分别阐述了新的统计量在不同应用情境下的原理与具体实现方法。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-4”，将拉您进“AI TIME PhD 交流群-4”！

cee35ae7523383e5e20c88bdf7b83e4b.gif

AI TIME微信小助手

88be2bdd3a0450a50bd065eb7bd1ddf7.png

主       办：AI TIME 

合作媒体：AI 数据派

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动、科研云、络绎科学

往期精彩文章推荐

67f06a482d40628a44544d54516df55c.png

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了600多位海内外讲者，举办了逾300场活动，超170万人次观看。

d28b430e47041b5fa08d5b9e81022b0a.png

我知道你

在看

哦

~

65f2d428289941593dc7681c28395d2c.gif

点击 阅读原文 预约直播！

AITIME论道
关注
博客
CVPR 2025预讲会54位讲者相聚｜3场特邀报告+3个团队专场+5大主题方向
05-22 154
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾800场活动，超1000万人次观看。，华中科技大学本科生，上海AI Lab 科研实习生。添加"AI TIME小助手"，发送“CVPR”，将拉您进“AI TIME 交流群”！提出观点，表达想法，欢迎。
博客
模型效用定律：迈向可泛化评估之路｜复旦大学曹艺馨老师开讲
05-20 237
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾800场活动，超1000万人次观看。ICML 2025结果出炉｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 18
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 11
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 7
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 7
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 3
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 77
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 55
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 26
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 7
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 8
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 6
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 1
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
超越基准：迈向可泛化评估之路｜复旦大学曹艺馨老师开讲
05-15 305
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。ICML 2025结果出炉｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
CVPR 2025预讲会已邀50位讲者，讲者报名通道即将关闭
05-14 331
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。ICML 2025预讲会｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
大模型逻辑推理能力最新综述：北大、清华、UvA、CMU等联合发布
05-13 170
下图展示了一类通用的提升大模型回答的逻辑一致性的方法框架，首先对每个问题生成多个候选回答，然后对不同问题的回答计算逻辑一致性的违背程度，最后优化求解为每个问题选择一个最优答案使逻辑一致性的违背程度降到最低。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。” 这两个问题都回答 “是”，但对“喜鹊有翅膀吗？
博客
ICML 2025预讲会一作讲者开启招募啦！
05-12 519
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。今年，ICML将于7月13日-19日，在加拿大温哥华「温哥华会议中心」召开。4. 活动直播与论文解读文章相结合，内容沉淀，深度且持续地宣传。提出观点，表达想法，欢迎。
博客
本周大模型新动向：自动幻觉检测、多智能体强化学习、多模态数据压缩
05-10 699
受经典Gold-Angluin语言识别框架的启发，本文研究了一种算法是否能够在训练时仅使用来自一个未知目标语言K的样本（K是从可数语言集合L中选择的），并且可以访问LLM的情况下，可靠地判断LLM的输出是否正确或构成幻觉。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。提出观点，表达想法，欢迎。
博客
5.46亿个三元组数据集！蛋白质分子研究新范式
05-08 406
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。一年多以来，智谱BigModel 平台上涌现出的一批又一批的学者们，将智谱 GLM 模型应用于计算机科学、大数据与统计、材料化学、医学、法律、金融、传媒、社会学、心理学多样化的科研和教学场景中，驱动研究范式和研究工具新一轮的变革。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值