李宏毅 GENERATIVE AI——第0~1讲（2/23）——“课程说明”以及“生成式AI是什么”

目录

0 完整章节内容

1 第0讲：课程说明

1.1 缘起：

1.2 课程目的

2 第1讲：生成式AI是什么？

2.1 定义

2.2 机器学习的本质（拟合已有数据）

2.3 生成式人工智能的挑战

---

0 完整章节内容

本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——“第0~1讲”章节的课堂笔记，完整内容参见：

李宏毅学习笔记——2024春《GENERATIVE AI》篇

本章主要围绕“课程说明”以及“生成式AI是什么”展开。

1 第0讲：课程说明

1.1 缘起：

当有位选修李老师机器学习课程的同学下课后和李老师展开了如下对话：

李老师的回复是“直接用ChatGPT就好”，诚然，在这样一个大语言模型时代，得益于充足的数据和强劲的算力，大语言模型在几乎所有任务上的表现都足够亮眼，我们已经没必要再想往常那样从头开始手写一个机器学习项目去实现上述功能。有了大预言模型的加持，我们可以以调大模型API这样一个简洁的方式去将该功能部署到我们的应用中去，于是便有了这门课。

火枪 vs 宝剑 —— “大人，时代变了！”

但是，这并不意味着我们需要完全舍弃独立开发能力，因为在某些场景下，大语言模型也有其受限的一面。“有能力自己开发仍然重要，但你要知道何时你需要自己开发、何时你可以用现成的人工智慧”。

1.2 课程目的

误解：这门课不是教我们怎么用 ChatGPT 。

目标受众：已经接触过 ChatGPT 这类生成式AI 应用，想要了解生成式AI背后的原理以及更多可能性的同学。

特点：生成式AI的应用日新月异，这门课会更著重于概念和原理

上课引用论文多来自 arXiv。

论文讲究时效性，尤其是AI领域，你想了一个idea，然后做了仿真，写了论文。但是考虑到投稿问题，有些会议或者期刊 “call for paper ”是有时间限制的，比如可能多几个月才是论文的收稿期。一方面为了证明自己论文的原创性，将论文放到 arXiv 上挂起来；另一方面，也是为了竞争，谁的论文在arXiv 挂的早，谁就拥有了这个论文的权力。

我们会将预稿上传到 arXiv 作为预收录，因此这就是个可以证明论文原创性（上传时间戳）的文档收录网站。

作业目标： 体验用生成式 AI 打造应用；体验训练自己的生成式 AI 模型

实验环境：都是用 Colab 或 Kaggle

与众不同之处：与之前李宏毅老师的其他课程不同，这门课程的作业可以用人工智能来写，同时老师也会用人工智能来批改，平台为MTK DaVinci（赞助商）

2 第1讲：生成式AI是什么？

2.1 定义

生成式人工智能是一种目标，旨在让机器生成复杂有结构的对象，如文字、图像和语音。它与机器学习和深度学习密切相关，但又有独立的部分。

2.2 机器学习的本质（拟合已有数据）

机器学习 ≈ 机器自动从资料找一个函式（本质就是拟合已有数据得到的一个函数|模型）

ChatGPT也就是个函式

AI绘图也是个函式

2.3 生成式人工智能的挑战

生成式人工智能的挑战在于，机器需要创造出训练数据中从未出现过的全新内容，这需要一定程度的"创造力"。ChatGPT等先进的生成式AI系统采用了文字接龙的方式，通过预测下一个合理的词语来生成文本。

文字接龙——无限->有限

上述涉及到的思想是Autoregressive Generation（自回归生成）

自回归生成是一种基于概率建模的生成方法，在机器学习和深度学习中被广泛应用，尤其是在自然语言处理（NLP）、图像生成和时间序列建模等领域。其核心思想是通过条件概率逐步生成序列中的每个元素。

生成式AI的概念并非新鲜，早在2015年就已经被提出，但近年来技术突破才使其应用爆发。

过去叫做结构化学习（因为生成的就是结构化的内容，例如文字、图片、音频等），现在叫做生成式AI。