大模型发展呈现“规模定律”，Transformer为技术基座。大模型（LLM）发展普遍呈现“规模定律”特征，即：模型的性能与模型的规模、数据集大小和训练用的计算量之间存在幂律关系。当前主流大模型普遍是基于Transformer模型进行设计的，Transformer由Encoder（编码器）和Decoder（解码器）两类组件构成，而OpenAI的GPT是Transformer演化树中Decoder-only架构的代表。
我们纵观GPT系列模型的发展历程，从GPT-1到GPT-3，参数量从1.1亿大幅提升至1746亿，GPT-4非官方估计达到万亿参数（根据Semianalysis消息，GPT-4包含1.8万亿参数），实现性能的突破。GPT在众多大模型角逐中能够取得瞩目，技术角度上，主要源自其可拓展的训练架构与学习范式以及对于数据质量与数据规模的重视。然而，我们认为GPT的成功也并非全部源自技术性因素，OpenAI能够从早期众多的技术路线中识别到并坚定执行这条路线，这需要大模型团队足够的技术前瞻和定力。
市场：全球大模型竞争白热化，国产大模型能力对标GPT-3.5Turbo。全球大模型竞争中，OpenAI、Anthropic、谷歌三大厂商为第一梯队，2024年以来三家大模型能力呈现互相追赶态势。开源大模型厂商中，Meta AI（Llama）、欧洲Mistral AI等厂商的大模型性能保持前列，图像生成大模型以Midjourney、StableDiffusion、OpenAI的DALL·E为代表，视频生成以Runway的Gen、Pika和OpenAI的Sora为代表。2023年底国产大模型迈入爆发期，从参与者来看，国内AI大模型厂商大致可以分为互联网/科技公司、AI公司、学术/科研机构、行业专家品牌四类。从模型能力来看，根据SuperCLUE上半年最新的评测结果，国内绝大部分闭源模型已超过GPT-3.5Turbo，其基准上表现最好的国产大模型为阿里云的开源模型Qwen2-72B，超过众多国内外闭源模型，与GPT-4o仅差4分。
变现：API同质化、订阅实现难，Agent与MaaS探索破局之路。OpenAI绝大多数收入来自API调用和ChatGPT订阅，但它的成功并不易复制，值得注意的是，一方面，API是较为普遍的变现方式，但由于大模型性能趋向同质化，全球API价格呈现下降趋势，另一方面，相较API，实现订阅的难度更高，由于AI-first应用目前在用户留存度和粘性上稍显落后，当前在AI产品市场还未出现真正意义上的Killer App。我们尝试总结了两条大模型变现的破局之路：1）C端：AIAgent是通往AGI与Killer App的钥匙。国内以互联网/科技公司、大模型厂商、企业服务SaaS类厂商为代表的越来越多的企业参与进AI Agent市场，产品形态既包括面向企业和开发者的Agent构建平台/框架，也包括服务于各个垂直行业的专业Agent。2）B端：面对企业级需求的快速增长，目前，微软云Azure、阿里云、华为云、腾讯云、百度云、京东云**等云服务提供商都已经推出了MaaS（Model as a Service），帮助企业降低模型使用门槛。
算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模。大模型技术与应用发展催生海量算力需求，根据Jaime Sevilla等人的研究，2010-2022年在深度学习兴起背景下，机器学习训练算力增长了100亿倍。持续增长的大模型与AI产品研发需求同时也推升了科技巨头的资本支出，2024年2季度微软、Meta、谷歌、亚马逊四家公司合计资本支出为571亿美元，同比增长66%，环比1季度增长22%。在此背景下，大模型的持续迭代升级将为AI芯片及服务器发展提供强劲动力，我们对不同参数规模的大模型在训练与推理（问答场景）两个阶段的算力需求进行了测算，假设未来有100家大模型实现持续经营，最终测算得到AI服务器的市场规模为2301亿美元。如果再考虑问答场景之外的推理场景，AI服务器的市场规模将更加巨大。根据IDC数据，2023年的全球AI服务器市场规模是211亿美元，相比2023年全球AI服务器市场规模，大模型的持续迭代升级将为AI服务器市场带来广阔的市场空间。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
