Bert+中文文本分类实现及参数解析

最新推荐文章于 2024-09-04 20:34:26 发布

疯狂的程序猿88888

最新推荐文章于 2024-09-04 20:34:26 发布

阅读量2k

点赞数 1

分类专栏：自然语言处理文章标签： python nlp

本文链接：https://blog.csdn.net/u012940753/article/details/104940581

版权

本文介绍了如何利用预封装的BERT模型进行中文文本分类。重点在于自定义MyDataProcessor类来处理个人数据，并在run_classify.py的main函数中调用此类。文章也涉及到了模型的参数解析。

摘要由CSDN通过智能技术生成

实现

bert模型已经被封装好了，直接使用就可以了。
但是需要自定义一个实体类，用来处理自己的数据。

直接在run_classify.py中加入下面类就可以

自定义MyDataProcessor类，传入

class MyDataProcessor(DataProcessor):
  """Base class for data converters for sequence classification data sets."""
	#data_dir对应参数中，的data_dir
  #这个方法用来处理训练数据，
  def get_train_examples(self, data_dir):
    """Gets a collection of `InputExample`s for the train set."""
    file_path=os.path.join(data_dir,"train.txt")
    file=open(file_path,'r',encoding='utf-8')
    train_data=[]
    index=0
    for line in file.readlines():
      	#标记每一行的数据
        guid = "train-%d" % (index)
        #切分数据集
        line=line.rsplit('|',1)
        #对于原始数据集做一个编码
        text_a = tokenization.convert_to_unicode(str(line[0]).replace(' ',''))
        #去掉label中多余的部分
        label = str(line[1