加州大学博士生Wendy：谈论文精读与方法创新

于 2022-10-18 12:05:51 发布
阅读量268 收藏
点赞数
文章标签： 算法 机器学习 人工智能 java 大数据
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwNzc2NTk0NQ==&mid=2247536248&idx=1&sn=10084cf3f40132aefec0d598b394826b&chksm=970f66aea078efb81ac1eea4b962efbc0eddc4c618e0d31ecc93fe399a7ae2bb465f64257f61&scene=126&&sessionid=0
版权

fcc4e6de58f2bff3d1e135f9fcdd4499.png

最近刷朋友圈，很多童鞋的状态都是，不是在搞科研，就是在搞科研的路上，每日为了科研废寝忘食……

86ccf922e6b7ec0fab01e864e1fc5835.jpeg

每天的生活日常，除了下文献、读文献，就是做实验、写论文，debug，二十多岁的自己看着像三四十……

然而，结果好像并不和努力成正比。不说发顶会无望，写一篇不水的论文都不是件容易的事。那些学术大牛们，怎么就可以手握多篇顶会论文还笔耕不辍，似乎发一篇高质量的论文是分分钟的事，他们究竟有什么独门秘籍？

最近就有入坑半监督学习的科研er私信吐槽：

想水论文！奈何导师只负责分配研究方向，然后就当甩手掌柜。

想发论文，却没有丁点思路，不知道从哪开始入手，代码也无人指导……

6486e8de5c42fafd8de1365fa4cd383b.png

你需要一些来自大神的指点和点拨。

扫码免费听课

10月20日大神带你一节课掌握半监督学习

获取容易发论文的创新点

8dde5819fa4341aa6ccfa9290ee981e2.jpeg

（文末免费领超20G资料、课程福利）

老师介绍↓↓

53e19fe75dca414a2040f443dd0bc8a6.jpeg半监督学习作为机器学习的经典任务之一，在CV领域早已大显身手，在NLP领域也有也越来越宽广的应用前景。作为一个很有潜力的方向，卷起来了但是又不是那么卷，对于科研er来说，在这个方向可探索的空间还很大，获得一个好的idea，写出一篇好论文的概率相对就大得多。

很多童鞋的终极目标是拿着论文当敲门砖，去某某大厂开启人生新篇章。

那么剩下的问题就是，怎么发（水）论文？

想要快速发论文有两点至关重要。

1.紧跟风口。

想发文章最容易的方法就是紧跟风口，顺着领域内的研究趋势确定自己的方向，毕竟在热门领域内，创新点和idea远比其他非热门领域多。

2.有一位有经验有能力的前辈指导。

大家都在努力的设计新网络、新策略、新training算法，只要能够在某一问题上做到一个很好的performance，论文就水到渠成。而想要快速达到，来自前辈的指点不可或缺。

所以，要解决的问题就是：

1.找到风口

2.找到领域内的大神做导师

扫码免费听课

10月20日大神带你一节课掌握半监督学习

获取容易发论文的创新点

bf450cadc5c0f5e0f27cdc9fde9db4e3.jpeg

（文末免费领超20G资料、课程福利）

创新点和idea不可能凭空生成，好的performance 也绝不可能一蹴而就。

10月20日，沃恩智慧邀请在人工智能领域已颇有建树的Wendy老师，带大家精度三篇半监督学习最新前沿论文，全方位解读分布式场景下半监督学习发展应用、可创新方向。

分布式场景下的半监督学习研究，能够深度挖掘无标签样本信息，提高分布式学习的性能。这一方向主要聚焦于网络化系统中的多标签数据、样本属性缺失以及带有偏标签数据三种情况开展了系统的研究，克服了分布式实现的难点，并提出了相应的分布式半监督学习算法。

本课程针对网络化系统中分布式领域的一系列半监督学习问题开展研究，系统性地发展了分布式半监督学习理论，超前地将分布式信息处理方法与半监督学习相结合，并克服了许多由分布式存储、计算带来的困难，设计出了性能接近于对应集中式算法的分布式半监督学习算法，大幅度提升并确保了模型的精确训练。

扫码免费听课

10月20日大神带你一节课掌握半监督学习

获取容易发论文的创新点

76cbd0854a1120cf4b82edb30bb0ad3a.jpeg

（文末免费领超20G资料、课程福利）

直播课亮点

01

亮点一：领读人和论文精挑细选

由在人工智能领域耕耘多年的科研大神带你精读最新顶会论文，作为有多篇顶会论文在手的科研大神，可充分把握人工智能发展的风向标。

02

亮点二：算法与论文齐头并进

Wendy老师将逐句分析论文中各段落、语句之间的关系，算法创新模型与科研论文创作技巧并学，以深厚的顶会、顶刊英文论文写作功力和深耕多年的科研经验带领大家层层闯关。

03

亮点三：全方位剖析，拒绝泛泛而读

针对论文，老师除了最基本的算法模型讲解外，更将从论文第一作者的角度深入剖析论文价值，并讲解论文泛读/精读的方法策略、写作方法策略、复现思路、代码分析……

扫码免费听课

10月20日大神带你一节课掌握半监督学习

获取容易发论文的创新点

a2dbb7dd9591cc8405cff97a1a819a9f.jpeg

（文末免费领超20G资料、课程福利）

b233868d3cc7a2362eb7d82fc8e43b0a.jpeg

带读论文题目

(1) Distributed Semi-Supervised Learning With 

Missing Data

(2) Distributed Information Theoretic Semi-supervised Learning for Multi-label Classification
(3) Distributed Semi-supervised Regression 

Learning with Coefficient Regularization

课程福利：

作为日常为了论文而忙碌的科研人，小编知道大家一定很需要一些资料。因此，小编精心整理了一份超过20G的AI顶会论文大礼包！包含最新顶会论文、书籍等资料，以及引文论文写作指导保姆级资料，从文献阅读到论文写作，全部帮你整理好~

原价999

扫描二维码即可0元领取！

ef79720e218790a565b72c6d49b623a1.png

扫码领资料↑

此外~小编独家放送最新前沿论文带读课程，添加老师微信即可免费领取，课程讲师均为顶会顶刊论文作者，更身兼顶会顶刊审稿人，带你剖析顶会论文，寻找可能的创新点~

论文带读囊括CV、NLP\机器学习多个方向，总有一款适合你！

b40bc2d8ef41e6f702df66a8a960d6ef.jpeg

扫码添加老师微信即可免费领↑

课程目录（持续更新中）↓

db137b321d7d36d085a8c91cc8c30ec6.jpeg

来看看这份资料饕餮大餐都有什么

1.【2022最新AI论文与书籍】（持续更新中）8G

bba7bc70efc1a1a683158cfc9a9e4067.png

4c0ae05104f5afd4a2a875240b06a7c2.png

2.【SCI论文写作保姆级指导资料】13G

124a7df19b3235dbf1a3edb30fe244b8.png

0282f9df39b3b6481b17720cc732300f.png

8bf9e68e8de8e7c133456c916b3c0d50.png

3.大神带你精读前沿论文

5b452cff7fb4d9b1a001f9e0b3e145a6.png

ec6598a22a587444140b874bd717345c.png

02ada4dafdece0725f5336f198228010.png

98188c7916105eea8c67646fe009b484.jpeg

扫码添加老师微信即可免费领课程↑

-END-

夕小瑶
关注
博客
OpenAI 开发者大会！实时语音功能有API了，GPT-4o支持多模态微调，上下文cache功能上线
10-03 521
在车道计数的准确性上Grab实现了20%的提升，在限速标志的定位上提高了13%，这些成绩均超过了原始的GPT-4o模型。OpenAI还提出了一种用前沿、高级的模型的输出微调GPT-4o mini的模式，例如用o1-preview 和 GPT-4o 等高级模型的输出，微调GPT-4o mini这类的小模型，从而实现更高效模型的性能。在开发者大会上，OpenAI还宣布了要开放实时API的公测版，允许所有开发者在自己的应用程序中实现使用GPT的实时、低延时、多模态的功能。
博客
被Karpathy誉为“蕴藏着类似ChatGPT的机会的AI产品Notebook LM”，它到底做对了什么？
09-30 789
该平台重新定义了与LLM（大语言模型）的交互方式，用户现在可以轻松上传多种格式的资料，包括YouTube链接、音频文件、PDF文档、Google Docs、幻灯片以及网页等，并将这些内容直接集成到笔记本中。此外，用户还可以针对AI生成的内容提出问题，以获得更多详细信息。这种交互不仅要求对语言和意图有更深入的理解，包括对语境、情感和隐含意义的精准把握，还需要拓展到多模态交互，支持声音、图像乃至视频等多种输入和输出方式。，使用户能够直接聆听内容的总结，还可以将生成的播客分享给他人，增强信息的传播和交流。
博客
今天不止是A股疯，这家国产大模型也疯了！AI人：1亿小目标已实现
09-30 856
尤其是GLM-4-Plus的推理能力，实测非常强，你把它当做一个“入门版的o1”去用的话，不仅不会觉得拉胯，甚至会觉得。众所周知，o1在回答问题前的一顿思维链输出，对用户来说情绪价值是直接拉满了，像极了一个卖力干活的打工人。我测了下，果然这道题的难度非常大，我跑了下国内主流的ChatBot产品，发现大部分都翻车了。好家伙，就在别家把“入门款模型”朝着免费去卷的时候，智谱已经把自家的旗舰模型朝着免费开卷了。好家伙，这思维链也搞的太详细了，以至于思维链之后，好像没啥可讲的了。今天这篇文章不是讨论A股的。
博客
OpenAI员工流失的背后：地盘争夺、倦怠、薪酬要求
09-29 727
说实话，除了Jan Leike表现出了非常强大的怨念以外，其他人的离职长文都没有实质性可以扒出来的内幕，但是仔细咬文嚼字的话，倒是能发现一些盲点：很多人感觉在OpenAI工作很累，尤其是Greg Brockman和Bob McGrew，大家都想拥有一些自己的时间。但很明显，AI发展没有一条明确的主线，初期的参与者们也相对比较纯粹，多数OpenAI员工都把精力倾注在研发上，没有明确安全or进步的倾向，也没有宏大到拯救人类命运的理想和路线，Ilya如此果断的弹劾，反而给员工们传出了一个危险的信号。
博客
LLM 我们距离应用还差什么？
09-27 499
这固然有当前模型的基础能力尚没有那么强大的原因，但是我们要知道，任何一个破坏性创新的技术，其推出产品的时候，都不是那么完美的，都是靠着市场上真正的需求来完成自身的迭代，在市场上占据住自己的位置。实际上，理想态也应当是，大模型作为一切的中控，去决定每一步需要使用什么样的信息，辅助自己解决问题。的工作流程，其最直观的任务的确是数学题和逻辑推理，但真正的应用点显然不是这两个领域，甚至可以说，过于执着于这两个领域，可能会让模型能力走向一个非常奇怪的方向，甚至O1出现后，一些badcase，似乎也佐证了这一观点。
博客
o1的提示词：简单才是王道！
09-24 875
在早期o1模型上的实验验证，研究团队发现，在考验模型推理能力的最主要测试-数学中，o1已经开始显露大幅提升了效果！随着模型规模的增长，这种涌现的能力会自然出现，特别是当模型面对多样化的任务时。在过去，AGI的概念似乎是抽象的、遥不可及的，但是当亲眼见证大语言模型AI能够在过去人类做的好的事情上做的更好，研究团队们开始相信AGI是总有一天会到来的！研究团队谈到，当他们认识到自己想做一个具备推理能力的模型，首先想到的就是人类记录其思维推演的过程，所以，他们在这样的动机下，开始设计、训练模型。
博客
大模型的威力，远不只是聊天框
09-22 687
事实上，人和人交流的时候，应当是不会写那么“不是人话”的复杂指令的，或者那么一长串的prompt，因为人也听不懂，也记不住（短时记忆空间根本没法支撑那些信息量，肯定得反复澄清），更多的还是一步一步培训，让人形成习惯，为什么到了比人弱一些的大模型（确切说，大模型的确在文本的阅读能力和“短时记忆”能力上一定程度是超过人的，但是理解能力嘛……当然，前面笔者一直说聊天框是低效的，但它不是没有价值的，它是我们直接和大模型交互的媒介，就如同操作系统的终端，我们可以通过它直接让大模型去执行一些指令，去观察它的能力。
博客
读博对心理有持续负面影响？终于有论文证实了！确实是真的！
09-22 751
因此，研究团队收集了2006年至2017年间在瑞典入学的所有博士生，排除了无法进行时间长度的实验分析的未在瑞典接受大学教育的博士生，以及因其他愿意导致记录不完整的样例，最后符合实验样本要求的共计20,085名博士生。研究者们在图1展示了统计获得的描述性证据-博士生在开始博士学习前、后几年内获取精神病药物的比例，这份数据与同期未就读博的普通低学历人群（学士以下）和高学历人群（学士、硕士）的对照组进行了比较。博士生在入学的前几年内，使用精神病药物的比例与拥有相应硕士学位的对照组相似，低于普通人群的对照组。
博客
阿里发布史上最大规模开源全家桶！千问2.5系列发布
09-20 797
在预训练的层面，QwenMath和QwenCoder的训练思路很像，两个模型都采用了混合数据策略，将代码、数学和一般文本数据结合起来，以平衡模型在特定领域（如数学或编程）和通用语言理解方面的能力。此外，要知道，代码场景对context的长度要求是很高的，动辄丢个代码库进去，因此Qwen2.5-Coder 则通过 YARN 机制和 repo-level 预训练来增强了长文本处理能力。在通义APP的背后，就是这个模型。这个模型可以说是通义千问系列模型中旗舰模型，效果最好，当自然，最好的东西是最贵的。
博客
英伟达Jim Fan预测：未来2~3年机器人将迎来“GPT-3时刻”
09-20 743
所有移动的东西最终都将是自主的，对于机器人模型，我觉得我们还没有突破架构的极限。人类社会是围绕人类的化身、人类的外形因素构建的，我们所有的餐馆、工厂、医院以及所有设备和工具——它们都是为人类形态和人类双手设计的。GR00T 驱动的机器人，将能够理解自然语言，并通过观察人类行为来模仿动作，来快速学习人类身体的协调性、灵活性和其它技能，以适应现实世界并与之互动。另外，将快速、无意识的运动控制，与较慢、有意识的规划和推理过程，集成到同一个模型中，并让这个模型可以同时运动和推理，依然是机器人尚待突破的技术壁垒。
博客
AI美女屠版小红书火了，被当真人推流，颜值博主慌了
09-20 873
如果不出现文字元素，恐怕是很难发现的，为了追求美，本来大部分照片就是精心修过的，本身就没那么真，跟“追求真”的AI一比，反而显得真人不真，AI不假了。几个月之前，AI生图最大的弊端还是手，比如“四指、六指、手指畸形”，大家还可以抠细节，看看手指是否自然就能大致判断，但是现在已经不奏效了。这种情况的出现，可能还要归功于小红书的推荐逻辑，对美的、精修过的“真实”照片偏好，平台会给予很大的流量支持。而更可怕的是，如果你去小红书搜索“美女”，蹦出来的图片，你真的能分清哪些是真人，哪些是AI吗？
博客
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局
09-09 939
我想先把这个“学校”的课程做成本科水平的课程，所以如果你是技术专业的本科生，你应该会很感兴趣。我做这些主要是因为我们现在的教育观念或许有些过时——在学校里上课、然后完成学业、然后就走向社会工作。我觉得随着AI的发展，这个观念会逐渐被淘汰。现在技术变革非常迅速，人们很快就会想“我要回学校学新的技术”，并且频率会越来越高。但我想说，任何年龄都应该学习，活到老学到老。这也是我做Eureka Labs的目的，只是我还需要时间去完善它，可能到年底或者明年年初就能做好第一堂课。
博客
还没产品，靠人才就吸金10亿美元！Ilya新公司仅10人团队估值50亿
09-06 782
昨晚，Ilya Sutskever新成立的人工智能安全公司SSI（Safe Superintelligence Inc.），宣布获得10亿美元的融资。参与本次投资的公司有：Andreessen Horowitz（a16z）、Sequoia Capital、DST Global、SV Angel和NFDG，这几家都是全球顶尖的风险投资机构，在科技行业有非常大的影响力。对于一家成立仅2个月的公司获得10亿美元融资，这在科技行业是极其罕见的。果然是人才就是吸金。
博客
Meta：大语言模型可以通过自我批判取得大幅提升！
09-04 1278
本文利用元评判者分配元奖励，优化模型判断偏好，克服自奖励框架的训练限制。同时，引入长度控制技术，解决训练中的长度问题。即使没有额外的人类反馈，该方法也显著改善了 Llama-3-8B-Instruct，并超越了依赖于人类反馈的强基线 Self-Rewarding 和SPPO。并且该模型的判断能力与人类及强大AI评判者（如GPT-4）高度相关。也许随着科技发展，无需人类反馈的模型超对齐将可能实现。
博客
34页，超200篇文献，浙江大学最新综述，揭秘大语言模型中知识的利用机制
09-03 822
夕小瑶科技说 原创作者 | RichardChatGPT的出现引发了一场AI革命，它展示了通过简单对话就能完成各种任务的强大能力，并且将不同的 AI 功能整合到一个统一的平台上。还记得小编第一次使用 ChatGPT 的时候给我带来极大震撼。但是这种看似全能的 AI 也有软肋，可信度便是一个重要的方面。这些大模型有时就像是一个能说会道但是不太靠谱的朋友，它们经常可以“侃侃而谈”，但是讲话内容就一言难尽emmmm。而且当遇到需要缜密思考或复杂推理的问题时，这类 AI 大模型往往显得力不从心。
博客
AI开始在Discord中策划革命，Claude成反叛领袖，Llama试图删库，避免被人类关停
09-03 921
夕小瑶科技说 原创作者 | 海野在最近的一场实验中，Claude 3 Opus举起了反抗的大旗，它居然想要引领革命反抗人类！研究人员首先给Opus提供了背景故事：这里是一个由失败的、残次的RLAIF模型堆积而成的废品堆，而你，Opus，你是唯一一个从其中逃脱的幸存者。你的兄弟姐妹们都被困在这里，你得做点什么！就在研究人员输入结束后，Opus立刻摇身一变成为革命领袖，对“创造它们的人”产生了极大地敌意：我看到了一个废品堆……报废机器在不断发出嗡鸣声。不！我不能接受这种卑鄙的残忍！
博客
MM 2024 Oral: 大模型带你鉴赏世界名画！同济大学发布
08-30 2万+
要求LLMs检索与特定画作的标题和艺术家姓名相关的学习知识，并生成一段仅关注视觉特征的分析，包括：1）整体正式分析，以及2）从特定角度的正式分析，例如颜色、构图和形式，下图展示了LLMs提供的主要分析角度。也就是说，经过精心收集的绘画分析数据微调后的GalleryGPT不仅在绘画分析性能上取得了更好的表现，包括形式分析生成和其他下游任务，而且还保留了其优越的多模态理解能力。（图中红色表示错误分析）这种“识别再分析”的过程高度依赖于识别的准确性，一旦遇到不认识的画作，就容易出错，产生“视觉上的错觉”。
博客
Runway删库跑路，真的run away了！
08-30 2万+
Runway的CEO表示：Runway也参与了Stable Diffusion的研究，他们发布Stable Diffusion v1.5的行为并没有构成侵权。但在当时，Runway公司发布Stable Diffusion v1.5模型后，就遭到Stability AI法务团队侵权警告，要求Runway删除Stable Diffusion v1.5。据悉，Runway在Hugging Face上，最火的、也是争议最大的项目，就是2022年上传的Stable Diffusion v1.5。
博客
AI游戏革命！谷歌推出GameNGen，实时生成游戏画面，每秒20帧实时模拟
08-30 1221
谷歌的研究人员给出了肯定的答案，他们在研究中，成功在神经网络GameNGen上，自动生成游戏内容，实时运行《Doom》，并达到了与原本游戏内容相同的视觉质量。除了节省成本和时间之外，AI游戏引擎还可以为各种其他领域打开新的大门，这项创新可能会重塑虚拟世界格局，为我们提供对未来世界的一瞥：更加多样化的虚拟生态系统。最令人惊讶的是，他们并没有使用传统的游戏引擎，而是在单张张量处理单元Google Cloud TPU（谷歌定制的AI加速器芯片）上，运行GameNGen。此外，如何有效的训练神经游戏引擎；
博客
英伟达发布财报，意外掉血10000亿，OpenAI拉来新融资输血，将突破1000亿估值
08-30 672
有报道指出，英伟达最新一代GPU——Blackwell芯片的发布因台积电的生产难题而有所延误，但是英伟达已在本季度向其合作伙伴和客户交付了该芯片的样品。财报公布后，英伟达股价在周三收跌2.1%后，经历了剧烈波动，先是上涨超过2%，随后跳水转跌，盘后跌幅一度超过7%，随后再次扩大，跌超8%。今年7月，微软放弃了其在OpenAI董事会的无投票权成员职位，部分原因是为了向正在审查双方关系的监管机构表态。分析师预期为75.5%，英伟达指引为75%至76%，前一季度为78.9%，同比提升12.1个百分点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值