目录
大模型的发展开启了AIGC时代（第四次AI浪潮），从人工智能产业的发展中可以看出，技术是AI每次革命性发展的起点，但商业应用是发展的加速器，AI的持久发展看商业落地。
大模型市场已形成了“开源派”和“闭源派”。而当下，在大模型竞争进入市场争夺的白热化阶段后，企业在开闭源上的交锋也更为激烈。
实际上，大模型开源和传统软件开源不是一回事。在开源的定义、治理、社区性质、贡献路径和企业的开源策略上，都在发生巨大变化。
大模型企业开闭源策略各异
今年大模型的开闭源更为热闹，在闭源的企业，有开源的呼声；在开源的企业，有闭源的动作。
百度内部对大模型开源、闭源的讨论非常热烈。大家都在思考，什么样的方式能取得更多的竞争优势。
在几家大厂中，百度、华为选择闭源路线，阿里、腾讯则推出了开源大模型。
百度对于开闭源大模型的争论，部分也来自阿里云等企业今年在开源上的声势和市场动作。
到目前为止，虽然百度文心一言仍坚持闭源路线，但百度智能云部门，在其平台上提供了大量性能很强的第三方开源大模型。百度通过闭源文心一言，也通过开源大模型使用的算力、工具和服务，来实现商业上的收益。
在开源上，今年阿里云的动作极为密集。5月在北京举办的AI峰会上，阿里云CTO周靖人表态，开源是阿里云的战略，阿里云形成的是一个开源和闭源的整体体系。阿里云已开源了参数从5亿到千亿的数款模型，打法也更为专业。
业界认为，阿里云大力推广开源，一方面是为了加快市场份额的争夺；另一方面作为云计算企业，它可以采用“羊毛出在猪身上”的商业模式，在算力、工具和服务上获得收益。周靖人在策略会上尤其强调“百炼”平台的服务。而开源还能为其引流，有些客户可能升级为闭源用户。
与其他大模型企业相比，腾讯开源大模型较晚，今年5月对外开源了混元文生图大模型。混元相关人士告诉数智前线，由于市场上已有很多开源的大语言模型，因此腾讯这次选择开源文生图，应该是第一个中文原生的开源DiT模型，未来还会尝试参数量更大的模型。由于刚开源几周，商业化影响仍待观察。
华为云2023年在推出盘古大模型3.0时，就表态采用闭源路线。过去一年，它的重心是在各行业进行联创，落地大模型，并将技术回馈盘古，不断迭代，未参与业界开闭源讨论。华为云在上周也刚刚官宣盘古5.0多模态大模型，发布期间也未涉及开源问题。同时，华为云于去年上线“百模千态”专区，提供第三方开源大模型。
最近在项目订单上活跃的智谱，是国内最早开源大模型的企业。因为智谱由清华技术成果转化而来，2022年，它就将开发的双语千亿模型GLM-130B开源，“当时全国懂大模型的研究员加起来也不过百来人”。智谱CEO张鹏称，开源让大家知道智谱在做什么，同时可以让更多人参与推动大模型。此后在2023年3月，智谱将GLM6b开源，该模型在Hugging Face上的下载量超过1600万。
虽然张鹏认为开源的初心并不是要去赢得市场或追求商业利益，但ChatGPT爆火后，智谱的GLM开源大模型获得大量关注，也让这家2019年才成立的公司，在融资和商业化上受益颇多。张鹏也称，开源和商业化是整个生态版图里很重要的两块，这两块是有连接的，可以说开源充当着商业化的桥梁。
王小川的百川公司，去年作为创业的明星公司，发布了Baichuan-7B、13B开源可商用大模型，在业界引发关注。当时有应用开发商告诉数智前线，测试后，他们从Meta的Llmma转向百川，因为中文效果更好。
百川开源时，国内大模型开源的还很少。此后，越来越多的大模型公司，包括大厂，开始开源。百川联合创始人谢剑告诉数智前线，未来还会开源，但不会开源特别大参数的模型，因为很多人用不起来。
最近快手的文生视频大模型“可灵”很火爆，不少应用企业“祈盼”可灵开源。但快手相关人士表示，暂不考虑开源，而会逐步开放一些东西在业界讨论。
而昆仑万维最近开源了一个稀疏大型语言模型Skywork-MoE，为应对大规模密集型大语言模型带来的挑战。昆仑万维兼天工智能首席科学家颜水成告诉数智前线，开源大模型帮助学界进行探索性工作，而公司也推出音乐、游戏等垂类模型，将采用闭源商业模式。
李开复的创业公司零一万物，是这波大模型独角兽中最后一家开源的企业。公司开源负责人林旅强非常坦率，认为开源和闭源是商业设计问题。零一万物也采取了开源、闭源并进的模式。开源在一定程度上扮演了商业拓展角色。同时，今年零一万物发布千亿参数模型Yi-Large，一些使用了开源模型的客户有望转化到该闭源模型上。
开源大模型的定义与现状
开源大模型通常指由科技公司或研究机构发布，并以开源许可证形式向公众开放的大型深度学习模型。这些模型基于大规模的数据集进行训练，具备强大的自然语言理解和生成能力，能够在各种复杂任务中表现出色。例如，Meta的Llama系列、阿里的通义千问系列等，都是近年来备受关注的开源大模型。
目前，市场上存在多种开源大模型，涵盖了从基础模型到经过特定任务微调的衍生模型。以Meta的Llama为例，该系列模型自2023年发布以来，已经推出了多个版本，包括Llama、Llama 2和Llama 3，每个版本都声称在性能和开放性上有所改进。例如，Llama 2在训练数据的多样性和模型架构上进行了优化，Llama 3则在参数量和推理速度上有所提升。然而，尽管这些模型在一定程度上对外开放，但其实际开放程度却存在很大争议。
具体而言，虽然这些大模型提供了部分代码和训练好的权重，但在训练数据和具体训练过程的透明度方面却有所欠缺。比如，Llama系列模型虽然开放了权重，但并未公开其训练所用的数据集和训练过程的详细信息，这使得开发者在复现和改进这些模型时面临诸多限制。此外，阿里的通义千问系列也存在类似问题，尽管提供了模型权重和部分代码，但关键的训练数据和步骤依然闭源。
这种不完全开放的现状导致了业内关于开源大模型实际开放性的广泛讨论。有观点认为，真正的开源不仅应包括代码和权重，还应涵盖训练数据和训练过程的详细信息，以便开发者能够全面了解和改进模型。然而，目前的大部分开源大模型在这方面依然存在不足，这使得它们与真正意义上的开源软件存在显著差距。
总的来说，开源大模型的定义与现状揭示了其开放性上的局限，尽管名义上是开源，但在实际应用和改进中仍然面临诸多挑战。这种“假开源”现象不仅影响了开发者的创新能力，也限制了开源大模型在更广泛应用场景中的潜力。
开源内容的局限性
通常开放的内容
在实际操作中，开源大模型通常只开放以下几部分内容：
代码：实现大模型训练和推理所需的代码，包括模型架构、训练算法、模型推理等核心代码。这些代码让开发者能够理解模型的基本结构和推理过程，但并不足以完全复现或改进模型。
权重：训练完成后得到的模型参数，这些参数是模型在推理过程中所需的核心要素。权重数据使得开发者能够在现有模型基础上进行推理，但对模型的核心训练细节一无所知。
例如，Meta的Llama系列模型和阿里的通义千问系列模型都只开放了模型的权重和部分代码，而对训练数据和具体训练过程的详细信息却守口如瓶。这种有限的开放使得开发者只能使用现有模型进行推理，而无法深入理解或改进模型。
实际未开放的关键内容
然而，对于大模型来说，真正决定其性能和应用价值的关键在于训练数据和训练过程。这些内容往往并未对外开放：
- 训练数据：原始训练用的数据集，以及在训练过程中进行数据处理和预处理的细节。这些数据通常包含大量的高质量、有代表性的文本数据，对模型的性能至关重要。然而，大部分开源大模型并未公开这些训练数据。例如，Llama系列模型虽然提供了训练好的权重，但并未公开其训练所用的数据集及其详细信息。缺乏这些数据，开发者就无法对模型进行重新训练或在相似任务上进行微调。
- 训练过程：具体的训练步骤、参数设置、优化方法等。这些细节决定了模型的训练效果和最终性能，但在所谓的“开源”大模型中，这些信息往往是闭源的。例如，尽管一些大模型提供了部分代码和权重，但训练过程中使用的超参数、数据增强方法、训练策略等关键细节并未公开。这使得开发者无法了解模型是如何训练出来的，从而也无法复现同样的训练效果或进行改进。
这种不完全开放的做法使得开发者在复现模型时面临诸多困难，无法真正掌握模型的核心技术，限制了他们对模型进行优化和改进的能力。实际上，这些所谓的开源大模型更像是免费软件（freeware）而非真正的开源软件（open-source software）。它们提供的只是使用现有模型的便利，而不是完全的技术透明和开发自由。
如下表所示，大多数“开源”大模型只公开了预训练权重，而并未提供模型训练所需的代码、数据集和训练过程。这意味着开发者无法完全复现模型的训练过程，更无法根据需要进行模型的改进和优化。与传统开源软件相比，这些大模型更像是“免费软件”，而非真正的“开源软件”。
| 厂商 | 模型 | 发布时间 | 代码 | 数据集 | 训练过程 | 权重 | 备注 |
|---|---|---|---|---|---|---|---|
| Meta | Llama | 2023年2月 | X | X | X | ✓ | |
| Meta | Llama 2 | 2023年7月 | X | X | X | ✓ | |
| Meta | Llama 3 | 2024年4月 | X | X | X | ✓ | |
| 智谱 AI | ChatGLM-6B | 2023年3月 | X | X | X | ✓ | |
| Databricks | Dolly 2.0 | 2023年4月 | ✓ | ✓ | ✓ | ✓ | |
| 百川智能 | Baichuan-13B | 2023年7月 | X | X | X | ✓ | |
| 百川智能 | Baichuan2 | 2023年9月 | X | X | X | ✓ | |
| 阿里云 | Qwen-7B | 2023年8月 | X | X | X | ✓ | |
| 阿里云 | Qwen1.5-110B | 2024年4月 | X | X | X | ✓ | |
| 零一万物 | Yi | 2023年11月 | X | X | X | ✓ | |
| Gemma | 2024年2月 | X | X | X | ✓ | ||
| Allen AI | OLMo | 2024年2月 | ✓ | ✓ | ✓ | ✓ | |
| xAI | Grok-1 | 2024年3月 | X | X | X | ✓ | |
| Apple | OpenELM | 2024年4月 | X | X | ✓ | ✓ | |
| 腾讯 | 混元-DiT | 2024年5月 | X | X | X | ✓ | |
| NVIDIA | Llama3-ChatQA-1.5 | 2024年5月 | X | X | X | ✓ | 基于 Llama 3 |
法律与商业模式的约束
开源许可证的重要性
开源许可证是一种具有法律效力的合同，规定了软件的使用、修改和分发权限。在传统开源软件中，开源许可证（如GPL、MIT、Apache 2.0等）确保了软件的自由使用和修改。这些许可证通过明确的法律条款，保障了用户和开发者的权益，使得软件的使用和分发具有高度的透明度和可预测性。开发者可以自由地查看、修改和分发源代码，这为开源社区的协作和创新提供了强有力的法律基础。
在开源大模型中，情况却有所不同。尽管一些开源大模型也采用了类似的许可证，但这些许可证往往附带额外的限制和条款。例如，许多大模型的许可证对使用场景、用户类型、商业用途等进行了严格的限制，远远超过了传统开源软件的规定。这些限制性条款可能包括禁止某些商业用途、要求特定的使用声明、限制数据的再分发等。这种做法虽然在一定程度上保护了原始开发者的利益，但也大大降低了模型的开放性和使用灵活性。
此外，大模型的许可证在数据和模型权重的处理上也存在显著差异。传统开源软件的许可证通常只涵盖源代码，而大模型的许可证不仅涵盖代码，还涉及到训练数据和模型权重。这些核心资源往往被严格控制，只有部分公开或完全不公开，这使得用户在使用这些模型时面临更多的法律和技术障碍。
尽管开源许可证在大模型领域依然扮演着重要角色，但其实际效果和应用范围与传统开源软件存在显著差异。这些差异不仅体现在法律条款上，也反映在开源大模型的实际使用和开发过程中。
大模型的定制许可证及其限制性条款
许多开源大模型采用了定制的许可证，这些许可证往往包含了许多限制性条款。这些限制性条款可能包括但不限于以下几个方面：
使用范围：某些开源大模型的许可证明确规定了模型的使用范围，可能禁止在某些领域或行业中使用。例如，某些模型可能禁止在军事、政治等敏感领域中使用，这样的限制使得这些模型在特定应用场景中无法使用。
用户类型：一些开源大模型的许可证可能限制特定类型的用户使用。例如，可能禁止某些商业公司或个人开发者使用，或者对使用者的资质和背景有特定要求，这样的条款极大地限制了模型的普及和应用。
商业用途：许多开源大模型的许可证对商业用途进行了严格限制。例如，有些许可证禁止模型用于商业目的，或者要求在商业使用时支付高额费用。这使得企业在使用这些模型时，需要承担额外的经济成本，从而降低了使用的自由度和经济效益。
这些限制性条款使得开源大模型的使用自由度大大降低，无法像传统开源软件那样自由使用和分发。传统开源软件通常采用宽松的许可证，如MIT、Apache 2.0等，这些许可证允许用户自由地使用、修改和分发软件，而无需担心法律和商业上的限制。然而，开源大模型的定制许可证则往往带有诸多限制，使得用户在实际应用中面临诸多障碍。
制许可证的存在还意味着这些大模型的开源并非完全公益性，而是带有一定的商业目的。许多科技公司通过开源大模型吸引开发者和用户，但同时保留了对模型核心技术和数据的控制权，确保自身在市场竞争中的优势。这种开源策略虽然在一定程度上促进了技术的传播和应用，但也限制了真正的开放和自由。
总之，开源大模型的定制许可证及其限制性条款，使得这些模型在使用自由度和应用范围上受到了很大的限制。用户在选择和使用这些模型时，需要充分了解和考虑这些限制，以便做出最合适的决策。开源大模型虽然在一定程度上推动了人工智能技术的发展，但其实际开放性和自由度远不及传统开源软件。
商业公司对开源大模型的策略和目的
商业公司在发布开源大模型时，通常有其特定的商业目的。开源大模型往往是为了建立生态系统、吸引开发者、提升品牌形象等。这些模型虽然在一定程度上对外开放，但其核心技术和数据仍然掌握在公司手中，确保了公司的竞争优势。以下是几个主要的策略和目的：
建立生态系统
开源大模型可以帮助公司建立一个庞大的开发者生态系统。通过开放部分代码和模型权重，吸引开发者使用并贡献代码，从而增强模型的功能和适应性。一个强大的生态系统不仅能提升公司的技术影响力，还能带来更多的合作机会。例如，Meta的Llama模型通过开源，吸引了大量开发者和研究者，迅速形成了一个活跃的社区。
吸引开发者
对公司来说，开源大模型是吸引开发者的一种重要手段。开发者可以利用开源模型进行研究、开发和商业应用，从而推动技术的普及和应用。这不仅能提升公司的技术形象，还能为公司发现和培养人才。例如，Meta在开源Llama模型时，不仅仅是为了社区贡献，更是为了与微软等公司合作，扩大自身的市场影响力。通过与大公司合作，Meta能够迅速在市场上占据一席之地，同时也能够获得更多的资源和技术支持。
提升品牌形象
开源大模型有助于提升公司的品牌形象，尤其是在技术圈和开发者社区中。通过开源，公司可以展示其技术实力和开放精神，从而获得更多的认可和支持。这对于建立品牌信任和拓展市场非常重要。例如，阿里的通义千问模型通过开源，展示了其在人工智能领域的技术实力，提升了品牌形象。
保持竞争优势
尽管开源大模型在一定程度上对外开放，但其核心技术和数据仍然掌握在公司手中。这使得公司能够保持竞争优势。通过控制关键的训练数据和训练过程，公司可以确保其在技术和市场上的领先地位。例如，尽管Meta开源了Llama模型的部分内容，但核心训练数据和具体训练细节仍然是闭源的，确保了其竞争优势。
开源大模型可以促进商业合作和市场拓展。通过与其他公司和平台合作，开源大模型可以迅速进入更多的市场和应用场景，从而扩大其影响力和市场份额。例如，Meta在开源Llama模型时，与微软、亚马逊等公司合作，使得Llama模型可以在多种平台上运行，迅速拓展了市场。
技术创新和改进
开源大模型还能促进技术创新和改进。通过开放部分内容，吸引更多的开发者参与，公司的技术能够得到持续改进和创新。这不仅能提升模型的性能和功能，还能加速技术的迭代和更新。例如，通过开源，Meta能够从开发者社区获得大量的反馈和改进建议，从而不断优化和提升Llama模型。
综上所述，商业公司通过开源大模型，可以实现多方面的商业目的和战略目标。虽然这些模型在一定程度上对外开放，但其核心技术和数据仍然掌握在公司手中，从而确保了公司的竞争优势和市场地位。因此，开源大模型在本质上并不是真正的“开源”，而是一种策略性的开放。
技术与协助开发的挑战
训练和推理过程的资源需求差异
大模型的训练过程需要大量的计算资源和数据支持，这往往是普通开发者难以承受的。在大模型的训练过程中，需要进行大量的迭代计算，这通常需要数百甚至数千个高性能GPU的支持。对于普通开发者来说，获取如此大规模的计算资源几乎是不可能的。此外，训练过程还需要海量的高质量数据，数据的获取和处理同样需要大量的时间和资源投入。例如，训练一个高质量的大模型可能需要数千万到数亿条数据，这些数据的收集、清洗、标注都需要大量的人力和物力投入。
相比之下，推理过程所需的资源相对较少，通常在消费级GPU甚至普通的CPU上就能完成。推理过程主要是利用已经训练好的模型进行预测或生成，不需要进行复杂的计算和大规模的数据处理。因此，普通开发者可以较为轻松地在本地机器上运行推理任务。
由于大多数开源大模型并未开放其训练数据和具体的训练过程，开发者无法重新训练或优化模型。虽然可以使用现有的模型进行推理，但在需要对模型进行微调或适应特定任务时，开发者依然面临巨大挑战。由于无法获取原始训练数据和详细的训练步骤，开发者无法对模型进行有效的修改和优化，限制了其在特定应用场景中的灵活性和性能。
缺乏训练数据和训练过程的透明度也使得开发者难以理解模型的内在工作机制和潜在的偏差。这不仅影响了模型的可解释性和可信度，也限制了开发者对模型进行改进和创新的能力。例如，一个企业可能希望针对特定领域的数据进行模型微调，但由于无法获取原始训练数据和过程，微调的效果可能远不及预期，甚至可能引入新的偏差和错误。
总之，训练和推理过程的资源需求差异，以及训练数据和过程的闭源，严重限制了开发者对开源大模型的利用和改进能力。尽管推理过程所需的资源较少，但对于真正需要进行深层次优化和定制的开发者来说，现有的开源大模型并未提供足够的支持和透明度。
微调和衍生模型的技术实现及其局限性
尽管开发者可以通过微调（fine-tuning）现有的大模型来适应特定任务，但这种方法的局限性很大。微调过程中仍然需要一定的数据和计算资源，而原始训练数据和具体训练步骤的缺失，使得微调效果大打折扣。此外，由于微调只能在现有模型基础上进行，开发者无法对模型进行深层次的改进。
尽管这些数据集相对较小，但获得高质量、经过标注的领域数据仍然是一个挑战。许多企业和开发者缺乏足够的资源和专业知识来收集和标注这些数据。此外，微调过程中的数据处理和预处理步骤对最终模型的性能影响巨大，而这些细节通常在开源大模型的发布中并未提供。
另外，微调所需的计算资源远少于从头开始训练一个大模型，但对于许多中小型企业和独立开发者来说，这仍然是一个不小的负担。大型科技公司通常可以轻松获取高性能的GPU集群来进行模型训练和微调，但中小型企业和个人开发者可能无法承担这些高昂的计算成本。
由于微调只能在现有模型基础上进行，开发者无法对模型进行深层次的改进。例如，开发者可能希望调整模型的架构，修改训练算法，或探索新的优化方法，但这些都需要对模型进行从头开始的训练，而不仅仅是微调现有的模型权重。然而，由于开源大模型的训练数据和具体训练步骤并未公开，开发者无法进行这些深层次的改进，微调模型的效果和稳定性往往无法达到预期。由于缺乏对原始训练数据和训练过程的深入了解，开发者在微调过程中可能会遇到各种问题，例如模型过拟合、性能不稳定等。此外，由于缺乏对模型内部机制的了解，开发者在遇到问题时往往无法找到有效的解决方案，进一步限制了微调的效果。
尽管微调为开发者提供了一种在现有大模型基础上进行定制化的途径，但其局限性显著。微调过程中所需的数据和计算资源、缺乏对原始训练数据和训练过程的了解，以及无法进行深层次的模型改进，都是制约其效果的重要因素。开源大模型的这种不完全开放性，使得开发者在实际应用中面临诸多挑战，无法充分发挥其潜力。
开源大模型在协作开发中的局限
传统开源软件的一个重要优势是协作开发，多个开发者可以共同改进和优化软件。这种模式依赖于源代码的完全开放和透明，使得开发者能够了解软件的每一个细节，从而进行有效的协作。然而，开源大模型在这一点上存在显著的局限性。
开源大模型往往只开放部分代码和训练权重，而不包括完整的训练数据和训练过程的详细信息。这意味着开发者无法从头开始训练或重现这些模型，只能在既有的基础上进行有限的调整和优化。由于缺乏对训练数据的了解，开发者无法判断模型在特定任务上的表现是否是由于数据质量或训练策略的问题，也无法进行针对性的改进。
开源大模型的复杂性和资源需求也增加了协作开发的难度。训练一个大模型通常需要大量的计算资源和时间，这使得只有少数具备足够资源的机构能够参与到模型的训练和优化中。这种资源的不平等进一步限制了开源大模型的广泛协作开发。
开源大模型的开发过程缺乏透明度和社区参与度。传统开源软件项目通常在公开的平台上进行开发，社区成员可以提交代码、报告问题、参与讨论。然而，许多开源大模型项目的开发过程并不公开，社区成员只能使用和微调已经发布的模型，无法深入参与到模型的开发和改进中。这种封闭的开发模式削弱了开源项目的社区力量，使得模型的改进速度和质量受到影响。
法律和商业因素也对开源大模型的协作开发构成了障碍。许多开源大模型采用定制的许可证，这些许可证通常包含对商业用途、用户类型等方面的限制。这不仅限制了模型的使用范围，也阻碍了社区开发者在商业项目中对模型进行改进和优化的可能性。相比之下，传统开源软件项目通常采用宽松的开源许可证，鼓励广泛的使用和二次开发。
综上所述，尽管开源大模型在名义上是开放的，但其实际开放程度和协作开发的效果远不及传统开源软件。缺乏训练数据和训练过程的透明度、资源需求的高门槛、开发过程的封闭性以及法律和商业因素的限制，使得开源大模型在改进速度和质量上存在显著的局限性。要真正实现开源大模型的潜力，需要在数据透明度、资源共享、社区参与和法律框架等方面进行进一步的改进和探索。
总结
开源大模型和闭源大模型各有其优势和挑战，也不是对立面。在数据隐私、商业应用和社区参与方面，它们展现出不同的特点和潜力。选择更看好哪一种路径，取决于你所重视的因素和目标。无论是开源还是闭源，推动AI技术的发展和应用，共同促进智能时代的到来，是我们作为掌舵者共同的目标。
开源项目是为了分享这个世界，那么就可能必然会舍弃掉资源的保密性和私人性，但其在创新速度、透明性、教育和社区参与方面的优势非常明显，我认为瑕不掩瑜。因为当一个开源的项目足够大足够精彩，那么或许你在别人眼中就不只是技术分享者，更多是一个为计算机行业拥有显著贡献的创造者。
许多成功的商业公司也在探索开源与闭源结合的模式，通过开放核心技术并提供增值服务来实现商业成功。这实际上也会促进公司之间的合作，从而促进商业化和行业内的发展。
然而，这并不意味着闭源大模型没有前景。对于某些需要高度安全性和控制的应用场景，闭源模式仍然是必要的。因此，具体选择哪种路径，还需要根据具体的应用场景和需求进行权衡。
3200
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
