在人工智能时代，软件工程师如何避免失业？｜文末送书

tgbaggio1

已于 2024-05-23 10:51:25 修改

阅读量785

点赞数 19

分类专栏：大语言模型文章标签：人工智能

于 2024-05-23 08:25:50 首次发布

本文链接：https://blog.csdn.net/weixin_39844018/article/details/139134245

版权

大语言模型专栏收录该内容

19 篇文章 14 订阅

订阅专栏

一、AI程序员？

在ChatGPT横空出世之后，人们开始热议哪些职业会像马车夫一样消失在历史的长河里，成为一个遥远的文明记忆。虽然每个人给出的清单不尽相同，但软件工程师几乎是所有清单中的固定项。职业清单并不一样，但是软件工程师几乎无一例外地出现在大多数人的清单中。2024年3月12日，美国的Cognition公司发布了历史上第一位AI程序员Devin。一系列工作视频和商业宣传让程序员的焦虑情绪达到了顶峰。然而，随着技术人员的深入研究，他们发现Devin并非商业宣传中所描述的那般神奇，目前还无法独立胜任开发任务，只能在特定任务中才有惊艳的发挥。

二、大语言模型对程序员的影响

于是，大家又松了一口气，程序员这份职业又暂时安全了。但不可否认的是，未来已来，人工智能技术在程序员的工作中将占据越来越重要的作用。Redis的作者Antirez对这一现状做出了极其中肯的评价。他指出：“大语言模型有点像维基百科和YouTube上散布的视频课程，它对那些有意愿、有能力和自律的人有帮助，但对那些已经掉队的人来说帮助有限。我担心至少在最初阶段，它们只会使那些已经具有优势的人受益。”当然，他也对程序员的职业前景做出了自己的建议：“现在的大部分编程工作都是在稍微不同的情境下反复执行相同的任务……这应该让程序员们深思，编写这种类型的程序是否值得呢？当然，你会得到相当丰厚的报酬，但也许在未来五到十年内，大语言模型可以完成其中的一部分工作，这是否仍然是最佳选择呢？”

投资大师巴菲特曾戏言，“大多数经济学家在思想上最经济，他们把在研究生院学到的东西用一辈子”。然而，即将迎来人工智能时代的程序员们并没有如此幸运，因为理解和掌握人工智能将成为必不可少的技能。

三、大语言模型的知识体系

以 ChatGPT 为代表的大语言模型可谓是当前人工智能领域的最前沿。尽管互联网上相关资料丰富，但由于篇幅或侧重点的不同，这些资料往往比较碎片化，无法全面地反映这一技术的所有细节。即使全面地收集资料，也会遇到另外一个难题。通常的学习过程是从基础知识开始，逐步加深难度，并最终到达学科的前沿。然而，这样的过程难免会让人在初期感到困惑，难以看清所学内容对最终目标的作用。我们可以采用倒序的方式来思考：如果想要理解大型语言模型，应该具备怎样的知识体系，如下图所示。

图1

在结构层面上，大语言模型的核心要素是注意力机制和深度学习优化技术。注意力机制源于循环神经网络的发展。为了深刻理解循环神经网络，必须先了解神经网络的基础模型——多层感知器。多层感知器的基础可以进一步分为3个部分：首先是作为模型骨架的线性回归；其次是作为模型灵魂的激活函数，激活函数演进自逻辑回归；最后是作为工程基础的反向传播算法和建立在其之上的最优化算法。深度学习的起点是卷积神经网络，大语言模型从中吸取了大量经验：如何加速模型学习和进化。当然，理解卷积神经网络的基础也是多层感知器。

模型结构固然是学习的关键，但除此之外，我们还需要了解大语言模型的物质基础，即数据。对数据的学习主要聚焦于模型的训练方式、模型解释和特征工程三个方面。大语言模型的训练涉及到迁移学习和强化学习，这两者又源自监督学习。模型解释与特征工程则需要吸取计量经济学和其他经典模型的经验。

无论是模型结构还是数据基础，进行技术讨论都离不开数学基础，具体而言，主要包括张量、概率和微积分等内容。