开源大模型,真的是“智商税”吗?

c39f67d921a35e6a8ea039fe46218149.jpeg

  开源人工智能模型

   正走在超越专有模型的路上

在2024世界人工智能大会期间,百度创始人、董事长兼首席执行官李彦宏,在聊到AI相关话题时表示:“开源其实是一种智商税。当你理性地去想,大模型能够带来什么价值,以什么样的成本带来价值的时候,就会发现,你永远应该选择闭源模型。今天无论是ChatGPT,还是文心一言等闭源模型,一定比开源模型更强大,推理成本更低。”

无独有偶,这几天正在美国丹佛举行的SIGGRAPH 2024大会上,NVIDIA CEO黄仁勋与Meta CEO马克·扎克伯格进行了一场别开生面的对谈,其中便提到了“开源在推动AI发展中的重要性”。

afbd3b675ecd2f2a69e3672d0e3cd2c0.jpeg

Meta致力于在整个行业中推进开源AI的发展,并于近期发布了Llama 3.1大模型。该开源模型花费了大量时间和训练资源投入。这个迄今为止最大的Llama版本拥有4050亿个参数,使用16000多个NVIDIA H100 GPU进行训练。扎克伯格曾在近期发布的一篇博客文章中这样写道:“Llama 3.1有望成为采用开源AI的转折点。”

其实,开源好,还是闭源佳,从一开始就是一个争论不休的话题。但是不可否认,如果没有闭源就不会有开源,反之亦然。两者相辅相成,是两种技术路线,更是两种不同的文化。

但从历史发展的足迹来看,开源的思想、文化、技术乃至开源社区组织,在市场和用户中的接受程度都越来越高。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》在第五篇、第十五章、第一节中提到,“支持数字技术开源社区等创新联合体发展,完善开源知识产权和法律体系,鼓励企业开放软件源代码、硬件设计和应用服务”。由此可见,开源已经上升到国家战略层面。国内的开放原子开源基金会挂牌成立,工信部等部门联合Gitee建设中国独立的开源托管平台,这一系列举措对于开源技术在中国的落地都是极大的促进和推动。

毋庸置疑,开源是一条可以选择的技术道路。但究竟如何选,选择之后又如何走好这条路,不同的行业、不同的企业、不同的策略,将会呈现不同的效果。

至于开源大模型,究竟是不是智商税这个问题,Meta首席AI科学家、图灵奖获得者Yann LeCun曾表示:“开源人工智能模型正走在超越专有模型的路上。”

ARK Invest经过对比发现,开源大模型的兴起,使得生成式AI的访问更加民主化,而且开源大模型的性能直追专有模型,未来很可能对专有模型的商业模式构成挑战。长江证券的研报也提到,Meta和Mistral AI发布的开源大模型Llama3.1和Mistral Large2,均扩展上下文窗口至128k,且支持多语言,性能堪比闭源大模型。从成本上看,Mistral Large2相比其他领先的AI模型,推理过程更加高效且成本有显著降低。随着开源大模型的加入,AI技术的应用场景将更加广泛。

谁的性能更高,谁的成本更低,这不是靠AI推理出来的。我们期待更多横向的对比测试,特别是实际客户环境的检验。作为后来者,或许现阶段开源大模型还处于追赶之势,但谁又能真正预测未来将会发生什么呢?

个人浅见,之所以有人会认为开源是智商税,可能很大原因不在于开源技术本身,而是开源在商业化的过程中“出了岔子”,要不就是道路的选择不正确,要不就是商业践行者抱有投机取巧的心理。

话再说得糙一点,“屁股决定思想”,挺开源还是闭源,很多时候不是从技术的角度,而是从商业的角度。开源不是“原罪”,如何用好开源才是关键。

对于开源AI和闭源AI,或者开源技术与闭源技术,您会支持谁?欢迎留言,或者投稿,与我们分享您的观点。



往/期/回/顾

从科技赋能到价值引领,东莞证券可进化的信创云建设启示录“智算”雄起 | 智算操作系统要“顶天立地”

360安全大模型3.0来了!垂直大模型,他们这么训

AI+新动力:联通“元景”大模型赋能产业智能化转型

再次刷新大模型世界观

77d2373e1b9f3302f08e7ef2e9abff83.jpeg

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在信号处理领域,DOA(Direction of Arrival)估计是一项关键技术,主要用于确定多个信号源到达接收阵列的方向。本文将详细探讨三种ESPRIT(Estimation of Signal Parameters via Rotational Invariance Techniques)算法在DOA估计中的实现,以及它们在MATLAB环境中的具体应用。 ESPRIT算法是由Paul Kailath等人于1986年提出的,其核心思想是利用阵列数据的旋转不变性来估计信号源的角度。这种算法相比传统的 MUSIC(Multiple Signal Classification)算法具有较低的计算复杂度,且无需进行特征值分解,因此在实际应用中颇具优势。 1. 普通ESPRIT算法 普通ESPRIT算法分为两个主要步骤:构造等效旋转不变系统和估计角度。通过空间平移(如延时)构建两个子阵列,使得它们之间的关系具有旋转不变性。然后,通过对子阵列数据进行最小二乘拟合,可以得到信号源的角频率估计,进一步转换为DOA估计。 2. 常规ESPRIT算法实现 在描述中提到的`common_esprit_method1.m`和`common_esprit_method2.m`是两种不同的普通ESPRIT算法实现。它们可能在实现细节上略有差异,比如选择子阵列的方式、参数估计的策略等。MATLAB代码通常会包含预处理步骤(如数据归一化)、子阵列构造、旋转不变性矩阵的建立、最小二乘估计等部分。通过运行这两个文件,可以比较它们在估计精度和计算效率上的异同。 3. TLS_ESPRIT算法 TLS(Total Least Squares)ESPRIT是对普通ESPRIT的优化,它考虑了数据噪声的影响,提高了估计的稳健性。在TLS_ESPRIT算法中,不假设数据噪声是高斯白噪声,而是采用总最小二乘准则来拟合数据。这使得算法在噪声环境下表现更优。`TLS_esprit.m`文件应该包含了TLS_ESPRIT算法的完整实现,包括TLS估计的步骤和旋转不变性矩阵的改进处理。 在实际应用中,选择合适的ESPRIT变体取决于系统条件,例如噪声水平、信号质量以及计算资源。通过MATLAB实现,研究者和工程师可以方便地比较不同算法的效果,并根据需要进行调整和优化。同时,这些代码也为教学和学习DOA估计提供了一个直观的平台,有助于深入理解ESPRIT算法的工作原理。
开源模型的主要优势可能体现在以下几个方面: 1. **促进技术共享**:开源模型允许研究人员和开发者访问和学习先进的算法和技术,这有助于加速知识的积累和技术的传播。通过分析开源代码,可以更好地理解模型的工作原理和训练方法。 2. **推动创新发展**:开源模型为研究社区提供了一个共同的基础,研究人员可以在现有的模型基础上进行改进和创新,从而推动整个领域的进步。 3. **降低研发成本**:开源模型可以减少重复开发的工作量,因为它们提供了可重用和可扩展的代码,这有助于降低研发成本并提高效率。 4. **鼓励协作**:开源项目通常鼓励社区协作,研究者和开发者可以共同解决问题,分享经验和资源,这种协作精神对于解决复杂的技术挑战至关重要。 5. **透明性和可验证性**:开源模型的代码和数据对所有人都是开放的,这意味着任何人都可以验证模型的功能和性能,增加了研究的透明度和可信度。 6. **自定义和优化**:用户可以根据自己的需求对开源模型进行定制和优化,使其更适合特定的应用场景或解决特定问题。 7. **多样性和选择**:存在多种开源模型,如BERT、GPT和T5等,这为用户提供了多样化的选择,可以根据不同的需求和偏好选择最合适的模型。 尽管开源模型有诸多优势,但在实际应用中也存在挑战,如需要高算力和大量数据来训练和运行这些模型。此外,模型的复杂性和工程问题的解决也是需要克服的难题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值