知识储备
Nastu_Ho-小何同学
这个作者很懒,什么都没留下…
展开
-
【知识储备】什么是python的GIL
Python的GIL锁,全称是Global Interpreter Lock,是CPython解释器中的一种机制,GIL通过限制同一时间只能有一个线程执行Python字节码,GIL通过在解释器级别上进行互斥锁来实现,这意味着。其次,GIL会增加Python程序的执行开销。首先,它限制了Python程序的并行性。,就有可能导致数据不一致或程序崩溃。原创 2024-03-09 16:26:40 · 355 阅读 · 0 评论 -
【知识储备】Transformer为什么用LN而不用BN
Transformer为什么用LN而不用BN原创 2024-03-07 13:53:56 · 420 阅读 · 0 评论 -
【知识储备】多头注意力机制的作用&为什么要多头
多头注意力机制的作用&为什么要多头多头注意力机制是对注意力机制的拓展,根据不同位置的上下文信息,为每个词分配不同的权重。它将隐状态向量分成多个头,每个头形成一个子语义空间。每个头可以关注不同维度的语义空间信息。这样,模型可以同时捕捉到不同类型的特征,丰富了模型的表达能力。比如,一个头可以关注词义,另一个头可以关注词性,再一个头可以关注词的位置等等。比如,不同的头会关注图像中不同的区域好处:多头注意力机制通过分割子语义空间,让模型可以关注不同维度的信息,从而提高了模型的表达能力和注意力原创 2024-03-07 13:47:13 · 693 阅读 · 0 评论