Write down something

人生苦短，所以用了Python，但是Python慢啊，所以依旧苦短。好在可以开n倍加速早点阶数这无聊的等待时间。在NLP任务中经常会遇到对大文本进行处理的任务，这些任务包括但不限于：分词词性标注词频统计（大名鼎鼎的WordCount）关键词提取大小写转换（当然这个bash命令更方便了，放在这里只是为了凑数:）为了方便描述，就用task(line)笼统地表示处理这些任务的函数吧，line是每一行的句子。在常规使用Pythn的时候，我们会打开一个文件然后一行一行地处理：with open(

语言模型串烧Word2Vec（2013年1月）GloVe（2014年1月）FastText（2016年7月）Transformer（2017年6月）Positional EncodingMulti-head self attentionFully connected feed forwardELMo（2018年2月）BERT（2018年10月）Transformer-XL（2019年1月）GPT-...