衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
我们现在可以获得比LLaMA更友好,且能力更强的开源模型。
这次在发布会现场表达出“遥遥领先”之意的,是百川智能CEO王小川。
保持一个月新发布一次大模型的频率,百川智能最新开源微调后的Baichuan2-7B,并且免费商用。
王小川表示,MMLU等英文评估基准的英文主流任务评分,70亿参数量的Baichuan2-7B在英文主流任务上与130亿参数的LLaMA2相当。
一并开源的还有Baichuan2-13B、Baichuan 2-13B-Chat与其4bit量化版本,以及模型训练从220B到2640B全过程的Check Poin。
同时公布了详细介绍训练细节的Baichuan2技术报告,旨在让外界了解其训练过程,“更好地推动大模型学术研究和社区的技术发展”。
Baichuan2系列大模型,开源的
Baichuan2系列的两款开源大模型,分别是70亿参数的Baichuan2-7B,以及130亿参数的Baichuan2-13B。
其数据取自万亿互联网数据和垂直行业,训练token规模在2.6TB。
据悉,Baichuan2系列大模型的数据处理借鉴了很多搜索时用到的经验。
一方面是在超大规模内容通过聚类系统,达到“小时级完成千亿数据清洗和去重工作”;另外,大部分数据清洗时进行了多粒度内容质量打分,支持细颗粒采样,从而提高模型质量(尤其是中文领域)。
系列里的两者均支持中、英、西、法等数十种语言,主要应用学术研究、互联网、金融等领域。
相比一代,Baichuan2数学能力提升49%,代码能力提升46%,安全能力提升37%,逻辑能力提升25%,语义理解能力提升15%,文理科能力方面均有提升。
百川在infra层也做了优化,使得现在在千卡A800集群里达到180TFLOPS的训练性能,使得机器利用率超过50%。
王小川在现场表示,在模型参数和结构设置上,Baichuan大模型尽可能靠近LLaMA系列。
这样做的最大的意义在于,让社区用户能够直接从LLaMA换成百川的模型。同时,我们尽可能兼容更多的社区生态。
除了再更大模型,百川智能还公布了3000亿-2.6万亿tokens的模型训练中间过程。
也就是说,百川像切片一样把不同大小token的能力开发出来,“对大家理解预训练,或者在预训练上做微调强化更容易操作。”
这也是在国内首次有公司能开放这样的训练过程。
值得一提的是,百川系列大模型对学术界师生开通了绿色通道,申请时可以获得更多资料,以帮助学术。
预计明年1季度推出“超级应用”
自成立起,百川智能保持着月更大模型的速度,呈现出开闭源交替发布的情况。
此前Baichuan-7B、Baichuan-13B开源后,Hugging Face首周下载量破百万,总下载量为500万,是全球下载量最高的开源大模型,申请部署试用的企业数量超200家。
闭源模型方面,则有上个月发布的Baichuan-53B,对大模型和搜索进行了“很高程度”的融合。
为何“开源+闭源”并行?
“在二季度最后一个月,我们认为当时的需求,也是我们能贡献的地方,就是开源模型。”王小川现场解释称,“所以成立公司之后我们就发布开源模型,同时兼顾闭源大模型的训练。”
迄今为止,国内发布的大模型总数超百家。
不只是训模型,“落地”这一步也来到眼前:一周前,首批11家国产AI大模型也开始向公众开放。
但如中国科学院院士、清华大学人工智能研究院名誉院长张钹在发布会演讲时提到,市面上的大模型,“主要集中在垂直领域的应用上”,而不是“对大模型的学术研究本身”。
然而,这个工作既迫切,又重要。
到现在为止,全世界对大模型的理论工作原理、所产生的现象都是一头雾水,所有的结论都推导产生了“涌现现象”。
所谓涌现,就是解释不清楚的情况下给自己一个退路。我认为这个问题必须要把它搞清楚。
大模型赛道自身的繁荣,开源有益对创新和研发效率的助推,都有利于彻底了解GPT。
确定开闭源并行的公布模式,密集对外公布阶段性成果,目前App已实现对外开放,百川智能的下一步计划是什么?
今年四季度,预计发布千亿参数大模型。
明年一季度左右,预计推出“超级应用”。
这两个时间节点,也被诸多大模型厂商和创业公司此前立下flag。感觉到时候,作用用户一方,咱们又有更多期(hao)待(xi)了~
推荐阅读:
被 GPT-4 Plus 账号价格劝退了!
世界的真实格局分析,地球人类社会底层运行原理
不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)
企业IT技术架构规划方案
论数字化转型——转什么,如何转?
华为干部与人才发展手册(附PPT)
【中台实践】华为大数据中台架构分享.pdf
华为的数字化转型方法论
华为如何实施数字化转型(附PPT)
华为大数据解决方案(PPT)