入坑大模型18个月的反思与贩私

前几天开完一个有高层参加的会议，会后组里的技术大佬直接就开喷“要规划没规划，整天只知道对着几个糊弄老板的榜使劲刷”。我下意识地赶紧去拉住他，低声对他讲“你声音太小了，老板听不到的，回头我领你去大厦的保安室，你用紧急通报的喇叭讲给全楼的人听”。他仿佛意识到了什么，便回我若要率十余众攻入保安室需要准备什么样的装备以及后勤物资，于是会议的内容就这么愉快的被遗忘了。

做回工位上，暮然回首发现自己已经入了这个坑一年半了，反思起来也收获确实有一些，例如Megatron/DS/TE/FA等等核心实现，例如强化学习的世界观以及其与最优化领域世界观的融合。但是如果要用一个短语来描述我当下的心境，那必然是“跳坑救不了世界”，弃坑从文也救不了，我们这个业界从底层的逻辑上就被运作成了这样：开源社区成就了一批天命人，天命人自发地凝结成草台班子，草台班子又逐渐被开源社区淘汰。而这个循环过程中，这些本该会被淘汰的班子却会试图通过闭源与商业化立起牌坊，这就形成了我们这个业界遍地是坑的奇观。

如果给“坑”这个描述做一个明确定义，那么大致可以讲成“同质化、模式化、低效率、低创新”的竞争系统，颇有当下低端芯片、商业城区、成人教育、新能源汽车、供应链金融这些领域的感觉。只不过大模型比这些事情多了一层窗户纸——黑盒性质，换句话说他不是被设计出来的，而是一种对自然的探索发现，而且又有着极高的资金门槛，所以对一般公众而言，其有着仿佛大型强子对撞机探索宇宙基本原理一般的隔阂感。然而大语言模型本身又具有极强的人文性，类似于经济学，这便又给了草台班子极大的容错率。

我很早以前就察觉，当下基于qkv attention + next token prediction + scaling的路径几乎已经快走到了尽头，并不是说scaling不能继续发挥作用，而是说scaling带来的收益已经远超出对其的投入。而且我的一个暴论是，scale让大模型更像大模型，丰富且平庸

，这就是之所以你会感觉到一个回答是大模型生成的原因。虽然反过来讲，丰富且平庸的回答并非毫无意义，因为它至少可以被用来做为创作的原材料。但是，于智能本身而言这种性质毫无意义，更不要提草台班子们打着要做智能的旗号最后只做出了一堆丰富且平庸的产品。

当然如果说上面这条路死了，或者有些更悲观的观点说联结主义死了，大模型也不是不能继续往下发展，因为显然除了创作类的需求，在提升生产力的过程中我们也有“理解复杂指令并精确输出”的需求。在我的脑海中，这种需求会促进“联结符号主义”的发展，类似于alpha proof中formalizer network、lean与solver network三者之间的协作，而这便是接下来几年大模型发展最大的一个契机。或许草莓跟猎户座也是类似的玩意，但是只可惜这些都是闭源的，草台班子骨子里是不太敢真的去碰这些东西的，因为他们内心中很清楚什么成就了他们。

所以你们看我黑了这么久草台班子，那么我也给草台班子做一个定性：一套低配的体制圈子。其低配体现在以下三个方面：制度不成熟、更加的人治；神权（开源社区）的影响力更大；王国之间来去比较自由、对人的行为缺乏约束。这里面的诸多问题恕我无法展开来讲，一来太招黑，二来也会冲到塔。我唯一能讲的给小朋友们的建议就是不要把自己活成高瀚文，或者尽量一开始就不要跳这个坑，如果你的理想真的是诗、智能与远方。另外其实我觉得国内做开源的几家都挺好的，比如seek（不是软文，因为他们嫌我年龄大直接挂了我的简历），主要原因是一来他们背靠金融系，有自己特定的存在价值，不需要为钱发愁；二来里面真的有些不错的傻孩子在里面为了梦想而奋斗，技术氛围很好。

事到如今，恍惚间感觉自己仿佛被焊死在零式里面的生体智能，最终不知道会以什么方式陪着大模型这个业界殉葬。希望明天会发生一些好事情吧。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓