最近在看bert源码,发现里边的激活函数不是Relu等常见的函数,是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。 https://blog.csdn.net/liruihongbob/article/details/86510622