python 实现将记事本中的按行存取的每个单词合并成一句话

原创

于 2021-11-01 14:02:49 发布 · 784 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

本文介绍了一个使用Python处理文本数据的方法，具体来说是如何将记事本中的单个单词和标签按行读取并合并成完整的句子，最后将这些句子保存到新的记事本中。

python 实现将记事本中的按行存取的每个单词合并成一句话

问题描述

实现将原记事本中按行存取的单个单词和标签，合并成一句话，并存入另一个记事本。

原记事本格式

在这里插入图片描述

目标记事本格式

在这里插入图片描述 #### 代码实现

filename = "/home/qtxu/BERT_self/data/Process_Backtranstion/laptop_backtransition_test_de_en_split_align.txt"
# filename2 = ".data/Origin_data/1.txt"
filename2 = "/home/qtxu/BERT_self/data/Process_Backtranstion/laptop_backtransition_test_de_en_split_align_final.txt"


# 将数据处理成想要的格式
def Dataset(filename):
    all_sentences = []
    all_labels = []
    sentences = []
    labels = []