在某心培训中,最常见的一个广告就是所谓复现XLNet的。原意是,在面试一个小时中,如果你不能手打XLNet,那么你连基本功都达不到。所以换句话说,倒贴钱都没公司要你。
这个广告造成极坏的影响。姑且不说,后面推荐课程课程一点帮助都没有,其实就是简单的优化理论。
我们先说一下XLNet复现为啥不可能。我们先看XLNet源码。先看这个文件。自己看看多长,我记得打印出来是四十页。四十页一个小时老师能打完我都不相信,更不用说复现。
再说一个更关键,大部分顶会论文不会把所有细节都放出来,比如说这段代码
flags.DEFINE_string("master", default=None,
help="master")
flags.DEFINE_string("tpu", default=None,
help="The Cloud TPU to use for training. This should be either the name "
"used when creating the Cloud TPU, or a grpc://ip.address.of.tpu:8470 url.")
flags.DEFINE_string("gcp_project", default=None,
help="Project name for the Cloud TPU-enabled project. If not specified, "
"we will attempt to automatically detect the GCE project from metadata.")
flags.DEFINE_string("tpu_zone",default=None,
help="GCE zone where the Cloud TPU is located in. If not specified, we "
"will attempt to automatically detect the GCE project from metadata.")
flags.DEFINE_bool("use_tpu", default=True,
help="Use TPUs rather than plain CPUs.")
flags.DEFINE_integer(&