开年公司安排做 NLP ,一开始真的是丈二的和尚摸不着头脑。对机器学习一无所知,一直都是感觉高大上而又遥不可及的东西。幸运的是团队中有人能做建模的工作,而我知道四个月后才渐渐摸到门槛。
如果有缘,我建议看几本书,一本好书真的会节省很多时间,少走很多弯路:
《数学之美》、《Python深度学习》、《python自然语言处理》、《简单粗暴 TensorFlow 2.0》
后面讲学习的历程一一补充吧。
1、下载 bert 代码,直接找原生的 git clone https://github.com/google-research/bert.git
2、下载数据,链接:https://pan.baidu.com/s/1-b4I3ocYhiuhu3bpSmCJ_Q
提取码:z6mk
3、下载 BERT-Base, Uncased ,下载的很慢
4、编写一个脚本
BERT_BASE_DIR=/data/nlp/pretrained_models/chinese_wwm_ext_L-12_H-768_A-12
GLUE_DIR=/home/nlp/chao/mybert/my-test/stu_data
python3 /home/nlp/chao/mybert/my-test/bert/run_classifier.py \
--task_name=MRPC \
--do_train=true \
--do_eval=true \
--data_dir=$GLUE_DIR/MRPC \
--vocab_file=$BERT_BASE_DIR/vocab.txt \
--bert_config_file=$BERT_BASE_DIR/bert_config.json \
--init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
--max_seq_length=128 \
--train_batch_size=32 \
--learning_rate=2e-5 \
--num_train_epochs=3.0 \
--output_dir=/home/nlp/chao/mybert/my-test/stu_result/
5、创建几个代码中的目录,记得给权限
bert stu_data stu_result stu_shell
6、然后 看一下 GPU 使用情况
7、然后 run 起来