NLP-D7-李宏毅机器学习---X-Attention&&GAN&BERT&GPT

—0521今天4:30就起床了！真的是迫不及待想看新的课程！！！
昨天做人脸识别系统的demo查资料的时候，发现一个北理的大四做cv的同学，差距好大！！！我也要努力呀！！不是比较，只是别人可以做到这个程度，我也一定可以！！！要向他学习！！！
开始看课程啦！

-----0753看完了各种attention，由于attention自己计算的限制，当N很大的时候会产生计算速度问题，从各种不同角度（人工知识输入、矩阵计算顺序，向量rank，聚类、用网络决定哪些位置计算Attention【这里虽然用了一个FC（你也许认为会是NN的计算量）来决定哪里用Attention，但是多个col共用一个Attention，也就是被模糊化处理，减小计算量，不是NN，可能是（mN）】）、直接学习Attention的生成。
最后老师用了一个LR语料库，对这些模型的表现、内存消耗量和速度做了总结。

后来又看了GAN，先大致了解到底在做什么。先讲了一个没有x的版本，也就是自由输出。【后来看着看着，我大概懂了，有了x就会有一些限定，在x的基础上生成。我猜：以老师上课时候的例子生成动漫为例，没有x，则根据simple distribution随机生成动漫人物；有了x生成的东西就会与x有关，具体如何有关还是看你的学习策略，具体学习策略，可能就得听老师讲了，我就不瞎想了】。用进化论的观点讲述了训练一个GAN：首先&