qq_45430594的博客

目录1.安装transformers2.加载预训练词典和分词方法3.句子编码3.1句子编码3.2增强编码函数3.3.批量成对编码4.字典操作4.1获取字典4.2添加新词符号4.3编码新添加的词5.datasets加载数据集6.加载bert模型7.bert模型使用8.数据加载1.安装transformerspip install transformers2.加载预训练词典和分词方法from transformers import BertTokenizer# 方式一：网络下载词典tokeniz

目录1.安装gensim2.数据预处理2.1jieba分词2.2分词后生成列表3.构建word2vec模型4.模型训练5.模型保持与加载6.模型使用  gensim是NLP的1.安装gensim  使用pip安装gensim，如果安装缓慢，建议换个安装源。pip install gensim2.数据预处理2.1jieba分词  利用pandas库读取数据，apply方法批量处理。def preprocessData(path='D:/Py/Data/comment5_1.txt', sep