关注并星标
从此不迷路
计算机视觉研究院
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
计算机视觉研究院专栏
作者：Edison_G
现在ChatGPT受到业内越来越多的关注，今天分享一些国内要实现该技术的难点，以及最后亲自感受体验。
一、国内有类似 ChatGPT 能力的模型吗？
高质量的数据
很多人都意识到了高质量数据对AI模型的重要性，但为什么没有中文高质量数据集呢？
1）没人。但是清洗数据是费时费力的苦活累活，博士、研究员们可没有时间和耐心去做，有那个时间为什么不找个清洗好的公开数据集，调调参数，搞几个trick，刷刷SOTA，发几篇顶会来的惬意。所有数据标注清洗都交给数据标注公司，或者低年级的学生去做，他们对数据完成什么任务，数据和任务关系，怎样的数据能训练出好模型知之甚少，怎么能建设出高质量数据集呢？数据集建设必须由训练模型的研究员或者工程师亲自参与，反复迭代。大模型时代，好数据比好模型重要N个数量级。
2）没利益。做科研的等着别人公开数据集，商业化公司又不愿意烧钱去build数据集。大多数科研人员连爬虫都不愿意写，反正有那么多公开数据集等着我去刷榜呢，为什么要做数据集。辛辛苦苦爬了一些数据，标了一些数据，赶紧发个文章领域内第一个XXX数据集，然后大家写文章引用起来。高质量的数据集和质量一般的数据集有差别吗？
训练大模型的能力
现在国内好多机构都在发布大模型，可真正有大模型训练经验的研究员和博士生有几个呢。Warmup到底做多久，梯度爆炸了怎么办，loss为什么不降反升，什么时候该回退到上个ckpt？给定同样的数据和网络，pretrain from scratch的时候会有各种意想不到的问题，真正能解决这些问题的人屈指可数。很多时候很多人可能都没意识到问题，或者意识到了都train了这么久了也不能从头再来就硬着头皮train完得了。OpenAI从GPT3开始在训练超大规模模型方面积累了大量的工程经验和tricks，这个是烧钱烧出来的宝贵财富。
谁能（来）funding？
OpenAI很烧钱，但幸运的是他们碰到了微软。一直很好奇如果OpenAI 2019年没有转型成LP，没有微软的支持，他还能不能做出GPT3，ChatGPT和马上要来的更惊人的GPT4？传说中的2.5万张卡不是谁都能funding的。国内的微软到底是谁？政府，投资机构，BAT等互联网公司，似乎没有一个机构能和微软一样有vision和耐心。
可以预见，短期内，很多机构会做中文ChatGPT，但大概率是烧钱做了半年一年，做到了ChatGPT 80%的能力，然后找几个Case宣称自己超越了ChatGPT，一顿PR，结果留下一个没人用的模型，差距被OpenAI越拉越大。
“此乃危急存亡之秋“，对前两天看到的ChatGPT分析的一片文章里的这句话深有共鸣。但现在谁能来扛旗说leading这样的一个项目呢？
作者：黄文灏BAAI
链接：https://www.zhihu.com/question/570713548/answer/2821681810
来源：知乎
二、亲自体验
误打误撞看到一个企业开放了OpenAI的ChatGPT接口，但是使用的时候，发现中文不太适应，就直接放弃该接口产品。
后来又发现一款比较简洁产品，就直接使用了一番：
然后最近比较火的是国产化，我就顺便问下这个机器人，看看他们机器人世界是怎么看这个趋势的：
我感觉这也是一个商机，目前已经有很多小程序开始调用ChatGPT接口，做成一个简易产品，试用后就是开始收费（收割韭菜），待技术发展更成熟，多家搜索引擎公司压力巨大，通过体验可以知道ChatGPT可以直接给你一个比较准确的答案，而不是成千上百页的推送，还有各种广告。我们要迈入下一个时代了，科技真的可以改变世界！
太疯狂了
© The Ending
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
扫码关注
计算机视觉研究院
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
往期推荐
🔗
8814
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
