2020联合作战智能博弈挑战赛之（十九）BERT

2020年11月21日笔记

已慢慢淡出比赛的我目前没有心情继续研究强化学习里面的深层次技术。最近对NLP产生了一些兴趣。今天在github里找了一个用BERT写的框架，项目名字是bert_classification。由于该框架中一些代码已经不支持tensorflow3.x了，如果不去降低tensorflow的版本无法运行源程序。由于我比较喜欢用最新的api，降低版本不是首选之策。那么就需要手动去更改里面一些包的位置。重灾区在tf.contrib里面。举个例子，经过一番搜索，发现tf.contrib.data.map_and_batch这个包可以从from tensorflow.python.data.experimental.ops.batching import map_and_batch中找到替换方案。如果引用的api只是名字一样而功能不一样，很有可能在传入参数的数量和类型上很快发现不匹配。

另外，默认的源码下载下来以后并没有提供chinese_L-12_H-768_A-12的下载，大家需要手动去下载以后放在根目录里。

上面这段代码可以调用TPU，源代码中用的是contrib，被我改成了estimator，不过后面执行for (k, prediction) in enumerate(result):的时候报出的错我目前没有能力解决。尝试用一般的Estimator取代了TPUEstimator还是没解决问题（可能是因为我还没有改造EstimatorSpec造成）。BERT