qq_61694719的博客

允许注意力机制组合使用Query、Key和Value的不同子空间表示可能有益的。先利用独立学习得到的h组不同的线性投影来变换Query、Key和Value；然后，将这h组变换后的Query、Key和Value并行送到注意力汇聚中；最后，将这h个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，来输出最终的结果。

L1距离，也称为曼哈顿距离（Manhattan Distance）或城市街区距离（City Block Distance），是一种度量两个点在标准坐标系上的绝对轴距总和的距离度量方法。L2距离，也称为欧几里得距离（Euclidean Distance），是度量两点在欧几里得空间中直线距离的一种方法。其中，n 是维度的数量，pi 和 qi 分别是点 P 和 Q 在第 i 维上的坐标。其中，n 是维度的数量，pi 和 qi分别是点 P和 Q在第 i 维上的坐标。

(3)正则化：获取更多数据，从数据源获得更多数据，或数据增强。(1)数据处理：1、清洗数据，2、降维，3、类别平衡。融合几个具有差异的弱模型，使其成为一个强模型；即提供的特征不能表示出那个需要的函数；即使得模型复杂一些；

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。