如何利用python中的langid,对文本语种进行分类

本文介绍如何利用Python的langid库对文本进行语种分类。首先从Github下载langid.py,然后创建一个Python脚本,遍历指定文件夹中的文件,使用langid.classify对每行文本进行语种判断,并将结果写入到一个新的txt文件中。
摘要由CSDN通过智能技术生成

1、首先下载langid

链接:Github主页:https://github.com/saffsd/langid.py

F:\githubDownLoad\langid.py-master(下载在我的本地文件夹)

2、在该文件夹下面新建一个python文件 languageID.py

import langid     #引入langid模块
import os
fout = open("languageID.txt",'w')   #打开一个txt文本存储结果
FileList=[]
Findpath = "D:/歌词/"   #所要处理的文件夹路径
FileNames=os.listdir(Findpath)
for fn in FileNames:
    fullfilename=os.path.join(Findpath,fn)      #获得文件夹路径下面的文件名
    #FileList.append(ful

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值