![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
junjie20082008
这个作者很懒,什么都没留下…
展开
-
用python3的_pickle读取python2 cPickle保存的数据时出现UnicodeDecodeError: 'ascii' codec can't decode byte 0x8b
用python3的_pickle读取python2 cPickle保存的数据时出现这个问题,只需要指定编码encoding='iso-8859-1’,OKimport picklewith open("my.pkl",'rb') as f: pkl_data = pickle.load(f, encoding='iso-8859-1')...原创 2020-04-30 15:41:51 · 182 阅读 · 0 评论 -
【转】NLP 的巨人肩膀(中)
3. 梯子的一级半除了在word级别的embedding方法上有大量模型和算法的涌现,同样地,在char级别、句子级别和段落级别同样有大量模型提出。word2vec开源随后的第一年,也就是在2014年,还是Mikolov,在他和另一位作者合作的一篇论文《Distributed Representations of Sentences and Documents》中,提出了可以借鉴word2...转载 2020-04-08 10:50:00 · 350 阅读 · 0 评论 -
【转】NLP的巨人肩膀(上)
我们都知道,牛顿说过一句名言If I have seen further, it is by standing on the shoulders of giants.无可否认,牛顿取得了无与匹敌的成就,人类历史上最伟大的科学家之一,但同样无可否认的是,牛顿确实吸收了大量前人的研究成果,诸如哥白尼、伽利略和开普勒等人,正因如此,联合国为了纪念伽利略首次将望远镜用作天文观测四百周年,200...转载 2020-04-08 10:47:10 · 325 阅读 · 0 评论 -
【转】NLP 的巨人肩膀(下)
摘要: 分类器足够简单,足够浅层,相比那些在这些分类任务上设计的足够复杂的模型来说简直不值一提。然而令人大跌眼镜的是,这些简单的分类器都能够比肩甚至超越他们各自时代的最好结果,这不能不说是个惊喜。而创造这些惊 ... tm网络模型框架自然语言处理 我们都知道,牛顿说过一句名言"If I have seen further, it is by standing on the...转载 2020-04-08 10:21:23 · 363 阅读 · 0 评论 -
bert连续输出loss
这里写自定义目录标题bert 连续输出loss解决方法:bert 连续输出loss解决方法: train_op = optimization.create_optimizer( total_loss, learning_rate, num_train_steps, num_warmup_steps, use_tpu) logging_hook = tf.train.......原创 2020-04-01 17:37:56 · 1779 阅读 · 3 评论 -
bert 分布式优化
如何实现多GPU并发:goole提供的BERT源码使用TPUEstimator实现的,TPUEstimator支持多TPU并发但不支持多GPU并发。为了能支持多GPU并发充分利用GPU资源提高效率,对BERT做一下修改:1、使用optimization_multigpu.py替换optimization.py,执行一下命令 cp optimization.py optim...转载 2020-03-31 14:20:52 · 917 阅读 · 1 评论 -
NLP相关论文记录
1、ALBERT:https://openreview.net/pdf?id=H1eA7AEtvS 第一个技术是对嵌入参数化进行因式分解(factorized embedding parameterization)。通过将大的词汇表嵌入矩阵分解为两个小的矩阵,将隐藏层的大小与词汇表嵌入的大小分离开来。这种分离使得在不显著增加词汇表嵌入的参数大小的情况下,更容易增加隐藏大小。 ...原创 2020-03-21 19:21:49 · 175 阅读 · 0 评论 -
NLP基准测试总结
先把GLUE榜单地址挂上 :https://gluebenchmark.com/leaderboard/1、SQuAD(Stanford Question Answering Dataset)SQuAD是什么?SQuAD 是斯坦福大学于2016年推出的数据集,一个阅读理解数据集,给定一篇文章,准备相应问题,需要算法给出问题的答案。此数据集所有文章选自维基百科,数据集的量为当今其他数据集...原创 2020-03-21 19:05:00 · 879 阅读 · 0 评论