七个很酷的GenAI & LLM技术性面试问题

不同于互联网上随处可见的传统问题库，这些问题需要跳出常规思维。

大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能，并在诸多行业中推动了效率和创新性的提升，成为企业保持竞争力的关键。

然而，尽管GenAI和LLM越来越常见，但我们依然缺少能深入理解其复杂性的详细资源。职场新人在进行GenAI和LLM功能以及实际应用的面试时，往往会觉得自己像是陷入了未知领域。

为此，我们编写了这份指导手册，收录了7个有关GenAI & LLM的技术性面试问题。这份指南配有深入的答案，旨在帮助您更好地迎接面试，以充足的信心来应对挑战，以及更深层次地理解GenAI & LLM在塑造人工智能和数据科学未来方面的影响和潜力。

1. 如何在Python中使用嵌入式字典构建知识图谱?

一种方法是使用哈希(Python中的字典，也称为键-值表)，其中键(key)是单词、令牌、概念或类别，例如“数学”(mathematics)。每个键(key)对应一个值(value)，这个值本身就是一个哈希：嵌套哈希(nested hash)。嵌套哈希中的键也是一个与父哈希中的父键相关的单词，例如“微积分”(calculus)之类的单词。该值是一个权重：“微积分”的值高，因为“微积分”和“数学”是相关的，并且经常出现在一起;相反地，“餐馆”(restaurants)的值低，因为“餐馆”和“数学”很少出现在一起。

在LLM中，嵌套哈希可能是embedding(一种将高维数据映射到低维空间的方法，通常用于将离散的、非连续的数据转换为连续的向量表示，以便于计算机进行处理)。由于嵌套哈希没有固定数量的元素，因此它处理离散图谱的效果远远好于矢量数据库或矩阵。它带来了更快的算法，且只需要很少的内存。

2. 当数据包含1亿个关键字时，如何进行分层聚类?

如果想要聚类关键字，那么对于每一对关键字{A, B}，你可以计算A和B之间的相似度，获悉这两个词有多相似。目标是生成相似关键字的集群。

Sklearn等标准Python库提供凝聚聚类(agglomerative clustering)，也称为分层聚类(hierarchical clustering)。然而，在这个例子中，它们通常需要一个1亿x 1亿的距离矩阵。这显然行不通。在实践中，随机单词A和B很少同时出现，因此距离矩阵是非常离散的。解决方案包括使用适合离散图谱的方法，例如使用问题1中讨论的嵌套哈希。其中一种方法是基于检测底层图中的连接组件的聚类。

3. 如何抓取像Wikipedia这样的大型存储库，以检索底层结构，而不仅仅是单独的条目?

这些存储库都将结构化元素嵌入到网页中，使内容比乍一看更加结构化。有些结构元素是肉眼看不见的，比如元数据。有些是可见的，并且也出现在抓取的数据中，例如索引、相关项、面包屑或分类。您可以单独检索这些元素，以构建良好的知识图谱或分类法。但是您可能需要从头开始编写自己的爬虫程序，而不是依赖Beautiful Soup之类的工具。富含结构信息的LLM(如xLLM)提供了更好的结果。此外，如果您的存储库确实缺乏任何结构，您可以使用从外部源检索的结构来扩展您的抓取数据。这一过程称为“结构增强”(structure augmentation)。

4. 如何用上下文令牌增强LLM embeddings?

Embeddings由令牌组成;这些是您可以在任何文档中找到的最小的文本元素。你不一定要有两个令牌，比如“数据”和“科学”，你可以有四个令牌：“数据^科学”、“数据”、“科学”和“数据~科学”。最后一个表示发现了“数据科学”这个词。第一个意思是“数据”和“科学”都被发现了，但是在一个给定段落的随机位置，而不是在相邻的位置。这样的令牌称为多令牌(multi-tokens)或上下文令牌。它们提供了一些很好的冗余，但如果不小心，您可能会得到巨大的embeddings。解决方案包括清除无用的令牌(保留最长的一个)和使用可变大小的embeddings。上下文内容可以帮助减少LLM幻觉。

5. 如何实现自校正(self-tuning)以消除与模型评估和训练相关的许多问题?

这适用于基于可解释人工智能的系统，而不是神经网络黑匣子。允许应用程序的用户选择超参数并标记他喜欢的那些。使用该信息查找理想的超参数并将其设置为默认值。这是基于用户输入的自动强化学习。它还允许用户根据期望的结果选择他最喜欢的套装，使您的应用程序可定制。在LLM中，允许用户选择特定的子LLM(例如基于搜索类型或类别)，可以进一步提高性能。为输出结果中的每个项目添加相关性评分，也有助于微调您的系统。

6. 如何将矢量搜索的速度提高几个数量级?

在LLM中，使用可变长度(variable-length)embeddings极大地减少了embeddings的大小。因此，它可以加速搜索，以查找与前端提示符中捕获到的相似的后端embeddings。但是，它可能需要不同类型的数据库，例如键-值表(key-value tables)。减少令牌的大小和embeddings表是另一个解决方案：在一个万亿令牌系统中，95%的令牌永远不会被提取来回答提示。它们只是噪音，因此可以摆脱它们。使用上下文令牌(参见问题4)是另一种以更紧凑的方式存储信息的方法。最后，在压缩embeddings上使用近似最近邻搜索(approximate nearest neighbor，ANN)来进行搜索。概率版本(pANN)可以运行得快得多，见下图。最后，使用缓存机制来存储访问最频繁的embeddings 或查询，以获得更好的实时性能。

概率近似最近邻搜索(pANN)

根据经验来看，将训练集的大小减少50%会得到更好的结果，过度拟合效果也会大打折扣。在LLM中，选择几个好的输入源比搜索整个互联网要好。对于每个顶级类别都有一个专门的LLM，而不是一刀切，这进一步减少了embeddings的数量：每个提示针对特定的子LLM，而非整个数据库。

7. 从你的模型中获得最佳结果的理想损失函数是什么?

最好的解决方案是使用模型评估指标作为损失函数。之所以很少这样做，是因为您需要一个损失函数，它可以在神经网络中每次神经元被激活时非常快地更新。在神经网络环境下，另一种解决方案是在每个epoch之后计算评估指标，并保持在具有最佳评估分数的epoch生成解决方案上，而不是在具有最小损失的epoch生成解决方案上。

我目前正在研究一个系统，其中的评价指标和损失函数是相同的。不是基于神经网络的。最初，我的评估指标是多元Kolmogorov-Smirnov距离(KS)。但如果没有大量的计算，在大数据上对KS进行原子更新(atomic update)是极其困难的。这使得KS不适合作为损失函数，因为你需要数十亿次原子更新。但是通过将累积分布函数(cumulative distribution)改变为具有数百万个bins参数的概率密度函数(probability density function)，我能够想出一个很好的评估指标，它也可以作为损失函数。