利用CRF++处理英文语料实验过程（一）：将文件夹下的所有TXT文本合并为一个TXT文本

实例

文件夹的全路径为E:\CRF++对FrameNet做处理内容\语料预处理\TagResult，可以看到这个文件夹下存放着我们的初始语料，每个词元都用一个文件夹来整理这个词元下不同框架的语料。因此首先需要整合这些语料为一个完整的语料才可以进行后续的步骤。在这个实例中，我将把整合结果存放在Tagresult_full.txt中。

显示了can这个词元下所有框架组成的语料文件

详细代码

我这里使用Python语言对语料进行初步整理：

import os
path = r'E:/CRF++对FrameNet做处理内容/语料预处理/TagResult'#这里是我们总的文件夹的路径
newfile = r'E:/CRF++对FrameNet做处理内容/语料预处理/TagResult/Tagresult_full.txt'#这里是最终生成语料文件的路径
catelist = os.listdir(path)#大文件夹下有多个词元的文件夹
for mydir in catelist:#对于每一个词元文件夹
    class_path = path + "/"+ mydir
    file_list = os.listdir(class_path)
    for file_path in file_list:#每个词元文件夹下的不同框架的语料文件
        fullname = class_path + "/" + file_path
        f1 = open(fullname)
        content = f1.read()
        with open(newfile,"a+") as f2:
            f2.write(content)
            f2.close()
        f1.close()