NLP实战记录

非结构化商业文本分类

比赛是CCF里面的一个比赛 感觉很难打 也是第一次接触 就感觉自己还是少下了功夫 无论是从搭建环境到训练完成 到之后的优化都没有投入很多 导致小队没能按时提交上CSV 很遗憾

收获

1、学会了用DBC购买算力 用Xshell（大数据课程刚学会的）去连接Linux服务器 然后使用相应的GPU 这次租用的是GTX1080Ti 确实很快 但可惜代码跑的不是很顺利

2、学会使用jupyter lab以及其中环境的调试 使用linux的命令行进行操作 也算是巩固了linux知识吧 还用了XFTP导入的文件代码

3、虽然基础很薄弱 但是了解了一些NLP知识以后对于自己以后的AI学习有了很明确的目标 对bert模型 CRF HMM等模型都有了最基本的概念 也会使用了正则表达式的基本操作

反思

1、比赛需要很长的时间进行配置和训练 这次没有留足时间很遗憾 下次肯定要做好准备

2、基础知识还没过关 先看懂基本原理和基础代码再去做模型会有更明显的正反馈。

训练截图

正则样例