python实现txt文本数据分类——中英文分类

最近在做自然语言处理的数据预处理部分——实体词,提取、抓取的数据集中包含中英文,那么我们只需要英文,不需要中文,于是就写了一个简单的脚本实现txt文本数据分类。
原数据如下(为了写这篇博客特意只提取了数据的一部分):
words.txt
代码如下:

file_open = open(r'C:\Users\Administrator\Desktop\words.txt', 'r', encoding='gbk')
lines = file_open.readlines()
A = set()
B = set()
for line in lines:
    B.add(line)
    for char in line:
        if u'\u4e00' <= char <= u'\u9fff':
            A.add(line)
        else:
            break

with open('C:/Users/Administrator/Desktop/2.txt', 'w+') as f:
    for stu in A:
        print(stu)
        f.write("".join(stu))
C = B - A
with open('C:/Users/Administrator/Desktop/3.txt', 'w+') as t:
    for stb in C:
        print(stb)
        t.write("".join(stb))

分类结果如下:
1、中文文本
在这里插入图片描述
2、英文文本
在这里插入图片描述

  • 3
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值