未完……
9、BERT
8、为什么self-attention可以替代seq2seq?
7、attention机制中,q,k,v分别代表什么?
6、写出attention公式?
以下是4种attention公式,分别为加法attention,双线性attention,哈达马积attention,减法attention,tanh为双曲正切函数。
![577b95212f8682c3b02a93e6c2dc316a.png](https://img-blog.csdnimg.cn/img_convert/577b95212f8682c3b02a93e6c2dc316a.png)
5、k-means聚类的优缺点?
优点:
1、 算法快速、简单,解释性强。
2、 聚类效果中上, 适用于高维。
缺点:
1、 对离群点/噪声点/孤立点敏感(通过k-centers算法可以解决)
2、聚类个数k的初始化,以及初始点的选择。
4、k-means聚类算法中的k如何确定?
标准数据:已知k,有专门算法学习k值。
公司实际场景数据:根据对业务的理解探索k值,并抽样观察。
3、k-means聚类初始点除了随机选取之外,还有什么方法?
思想:初始的聚类中心之间相互距离尽可能远。
法1(kmeans+&#