思考AI科研的未来

今天不聊paper,来聊一些现实的问题,AI科研发展?

Stable Diffusion

这大概是后AlphaGo时代AI第一次这么火出圈,AlphaFold2也就是在圈内大家都知道而已,但是这个大家都在玩,但是对于三四月看到DALLE2和Imagen效果的我来说,完全属于意料之中,没有太在意。

2022年11月30日,ChatGPT发布

ChatGPT发布后,我没有特别的关注,只是当作NLP圈的一个大新闻而已

几个月后,我发现ChatGPT的热度有点夸张了,居然已经出圈到了一个前无古人的程度,一举成为历史上用户突破0.1 trilion最快的APP

二月,我注册了ChatGPT账号,开始使用,一开始并没有感觉有什么不得了的地方,直到我接了别人的毕业论文,我发现用起来真是如鱼得水,我几乎只需要prompt和排版即可。此时我感觉未来已经来了,但是感觉NLP科研还能做?

用RLHF训练的方法也几乎是RL在NLP领域我所知的唯一成功?并且后来的GPT-4主要靠这项技术来提升性能,虽然被Lecun喷,但是我觉得并不重要,它就是强,并且没有什么方法能一步登天。
在这里插入图片描述

2023年3月14日,万众期待GPT-4发布

在这里插入图片描述

GPT-4出来的那天,大家早上起床就被他刷屏,纷纷表示要失业了要转行了,我当时熬夜还没有睡觉。大概是早上6点?我看了一下GPT-4的技术报告,但是当时人已经是傻的没有太在意,当时的我并没有理解在律师考试到人类前10%是一个什么概念
在这里插入图片描述

第二天,Quora和知乎全是对GPT-4的讨论,我看了很多回答,并看了官方的演示,然后我马上就跟群友们说我转行了,我的科研就是a kinda shit

19号,我升级了自己的账户到PLUS,开始亲自使用GPT-4,效果真的把我狠狠地惊艳到了,我感觉他能做到一切事情,谁能想象这是一个去年八月就训练出来的模型?Open AI到底领先了整个NLP community多少?我不敢想再过几年GPT-5 GPT-6的效果会有多夸张。

GPT-4作为一个multimodal模型,因为还没有开放图文API,很多人还没意识到时代已经不一样了,感觉CV和多模态还能卷一卷?

2023年4月5日,SAM正式发布

CV的(大)模型?仅仅有6亿多参数而已,对比NLP大模型只能算小玩具

构造了一个11M大小的高质量数据集,256块A100跑的。

看到这个的时候现在已经是4月6号下午六点,本来以为只是一个普通的模型,但是看到有人说是跟CLIP一个级别的工作,瞬间就来精神了,去知乎看了很多大佬的评论。

大概CV也快死了

有大佬指出,之后只能做一些worst case的工作了,我不太理解这个方向,但是大概可以感受到这个模型的影响力

或许这是CV新时代的开启。
在这里插入图片描述

展望

虽然大模型非常的强,那科研还有能做的方向吗?

我认为传统的刷榜是没什么好做的了,但是会有一些新的方向可以做

以我熟悉的NLP为例,prompt应该还能做文章的,如何发挥大模型能力是可以研究的,如何压缩模型到小参数模型上是可以做的,如何研究可信大模型是可以做的,但是,这些方向会有多少人去卷呢?你就能保证自己脱颖而出吗?

AI科研或许已经死了,大概交给工业界了,至少大模型是的,因为学术界不可能有那么多钱去买显卡。

不过无论如何,AGI的伟大征程,我是一定要参与的。

在考虑转工程方向,智能系统?may be ,may be not

准备把底层的东西好好学一遍了(比如CS61C?),至少目前看起来是不容易被取代的,然后结合一下AI?

还好今天我才大四,希望我们都有光明的前途。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值