深度学习模型搭载google drive训练NER

一、首先需要在https://drive.google.com/上登录并且创建文件夹和文件，并且上传自己的脚本

二、在https://colab.research.google.com上创建一个notebook来搭载并访问google云上面的数据和脚本，搭载步骤如下：

1）!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

此步骤需要进行两次用户名和密码验证，点击链接，并且允许后，会生成一个code，然后把code复制过去就行。

2）!mkdir -p drive
!google-drive-ocamlfuse drive

3）from google.colab import drive
drive.mount('/content/drive')

此步骤操作如步骤1）

4）import os
path = "/content/drive/My Drive/Colab/NER/"
os.chdir(path)

5）# 训练模型

!python BERT_NER.py \
                --data_dir=data/ \
                --bert_config_file=checkpoint/bert_config.json \
                --init_checkpoint=checkpoint/bert_model.ckpt \
                --vocab_file=vocab.txt \
                --output_dir=./output/result_dir/

 

6） # 评估和预测模型

!python BERT_NER.py \
                --data_dir=data/ \
                --bert_config_file=checkpoint/bert_config.json \
                --init_checkpoint=checkpoint/bert_model.ckpt \
                --vocab_file=vocab.txt \
                --output_dir=./output/result_dir/ \
                --do_train=False \
                --do_eval=True \
                --do_predict=True