bert源码学习

• token_type_ids什么意义？就是论文中的segment_id, 代码写的让人费解。

• gelu激活函数的优点？

• 用不用one_hot结果看起来是一样的？
  if use_one_hot_embeddings:
  one_hot_input_ids = tf.one_hot(flat_input_ids, depth=vocab_size) output = tf.matmul(one_hot_input_ids, embedding_table) else: output = tf.gather(embedding_table, flat_input_ids)

• 矩阵不同纬度和维度1的加法？

• 执行过程是通过estimator.train()和estimator.evaluate()完成的，不是通过sess.run()

• 这句反了吧？
  next_sentence_label = 1 if instance.is_random_next else 0

• 句子AB如何构建的？不是将文档中的每一句作为A或B，而是累积多句，直到长度达到上限，然后将这多句拆分为AB两句。

• input_ids = features[“input_ids”]得到的是一个样本的特征？还是batch个样本的特征？输入数据中使用了dataset=dataset.batch(batch)，因此获取的是batch个样本的特征。

• run_classifier.py中tf.train.init_from_checkpoint()是如何载入已有模型的？用checkpoint文件中的变量值，初始化模型中的参数。

• train_op = optimization.create_optimizer()用法？自定了如何利用loss值进行参数的更新。

• 使用dataset从tfRecord读入数据，是如何使用多线程的？