---------0439我感觉今天终于可以阶段性地看完沐沐的课了!!!狂喜!马上终于可以看看宝可梦了嘿嘿嘿! 1、ELMo&GPT&BERT对比 2\位置嵌入参数 全局来看,应该也就只有一个位置嵌入参数 3\BERT的valid_len第一层觉得有意义,后面感觉就很生硬了 4\为啥norm_shape一会一维一会二维呢??? 5\Layer_norm的使用方法 参数传几维,就对几维座layer_norm,不过传的时候shape要匹配。 传最后一维