利用python对一段英文文本进行分词，分句

最新推荐文章于 2024-03-27 08:07:04 发布
最新推荐文章于 2024-03-27 08:07:04 发布
阅读量4.1w 收藏 50
点赞数 6
分类专栏： python学习路程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wawj9393/article/details/78365446
版权

  这两天一直在学习用python进行自然语言处理这本书，当然开始的开始就是要学习python这门脚本语言，遇到了利用自己的语言对一段英文文本进行分词这个问题，找了好多资料都没有找到具体的解答，自己修修改改终于解决了，分享出来，大家共勉，如果有更好的代码或者算法，大家也可以共同的交流一下。也是希望以后在学习的童鞋们可以有个参考，不至于像我一样摸不着头脑。

  利用python对一段英文文本进行分词：

# coding:gbk
txt=open("XXXXX")#括号里面的是是你的txt文本的具体路径
readl=txt.readline()#一行一行的读文本
while readl:
    ff=str(readl)#强制类型转换，因为readline（）函数读出来的是list类型的，要用split（）函数就要是string类型
最低0.47元/天 解锁文章
啾啾七七
关注
  • 6
    点赞
  • 踩
  • 50
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
python浙大版pta第七章
混元形意掌门
09-08 3707
第7章-1 词频统计 (30分) 请编写程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。 所谓“单词”，是指由不超过80个单词字符组成的连续字符串，但长度超过15的单词将只截取保留前15个单词字符。而合法的“单词字符”为大小写字母、数字和下划线，其它字符均认为是单词分隔符。 输入格式: 输入给出一段非空文本，最后以符号#结尾。输入保证存在至少10个不同的单词。 输出格式: 在第一行中输出文本中所有不同单词的个数。注意“单词”不区分英文大小写，例如“PAT”和“pat”被
python 英语分词_python实现英文文本分词
weixin_39789525的博客
11-20 4398
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！打算绘制中文词云图？ 那你得先学会如何做中文文本分词。 跟着我们的教程，一步步用python来动手实践吧。? （由于微信公众号外部链接的限制，文中的部分链接可能无法正确打开。 如有需要，请点击文末的“阅读原文”按钮，访问可以正常显示外链的版本。 需求在《如何用python做词云》一文...
【Python】英文文本分词与词频统计（split()函数、re库）
热门推荐
○( ＾皿＾)っHiahiahia…的博客
02-24 1万+
英文文本分词 1、知识准备 （1）Python中的split()函数的用法 了解split()的基本用法 （2）python多个分割符split字符串 了解re库的部分用法 Python strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。 注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。 2、实践代码 将英文句子分词，并记录通过字典的方式记录每个...
python英文词频统计jieba库,python英文词频统计代码
最新发布
www55597的博客
03-27 835
大家好，小编为大家解答python英文词频统计并按顺序输出的问题。很多人还不知道python英文词频统计去除定冠词，现在让我们一起来看看吧！
python 对英文句子分词 ，去重，排序
A3213383291的博客
11-21 2299
题目：给定如下一段英文 A major drawback of cross-network recommender solutions is that they can only be applied to users that are overlapped across networks. Thus, the non-overlapped users, which form the majority of users are ignored. As a solution, we propose CnGAN
python实现——规范中英文内容
LainWith的博客
10-27 651
据说朋友的领导以前是政府单位工作的，对文档格式要求严格，最近突发奇想，要求英文与中文之间不能有空格。朋友之前是直接复制漏洞简介的，现在看来，CNNVD的漏洞简介得删删改改才能用啊，真是蛋疼。实现起来发现第2个目标有些困难，因为如果文章是非常散乱的话，我是没办法区分你到底是换行，还是排版错误，因此，最终实现的效果是。通过标记文本中的所有空白字符发现，脚本处理结果符合需求。
python 英语分词_Python英文文本分词(无空格)模块wordninja的使用实例
weixin_39996496的博客
11-20 269
在NLP中，数据清洗与分词往往是很多工作开始的第一步，大多数工作中只有中文语料数据需要进行分词，现有的分词工具也已经有了很多了，这里就不再多介绍了。英文语料由于其本身存在空格符所以无需跟中文语料同样处理，如果英文数据中没有了空格，那么应该怎么处理呢？今天介绍一个工具就是专门针对上述这种情况进行处理的，这个工具叫做：wordninja，地址在这里。下面简单以实例看一下它的功能:def wordinj...
python实现中文文本分句的例子
09-19
今天小编就为大家分享一篇python实现中文文本分句的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
NLTK健康领域英文文本分词、词性标注、词频统计
12-21
handel_file = 'health_handel.csv' #分词好要保存的数据文件路径 #读取数据 data=pd.read_excel('health.xlsx') print(data.head(10)) stopwords = nc.stopwords.words('english') #停用词 tokenizer=tk....
用python3进行语言文字处理英文版
03-27
用python3进行文本处理，英文，不是扫描版 。 。
python实现的一个中文文本摘要程序.pdf
04-28
/user/bin/python # coding:utf-8 __author__ = 'yan.shi' import nltk import numpy import jieba import codecs N=100#单词数量 CLUSTER_THRESHOLD=5#单词间的距离 TOP_SENTENCES=5#返回的top n句⼦ #分句 def ...
Python-使用神经网络对英语句子进行分词
08-10
使用神经网络对英语句子进行分词
初学Python杂记——对文本进行分词
weixin_44995401的博客
04-15 2948
利用split()的两种方法 （1）直接利用split()函数 vstring = "人生苦短，我用python！" vstr = vstring.split('，') # 分词符号仅设置为“，” print(vstr) print(len(vstr)) vstr = vstring.split('，！') # 分词符号设置为“，”和“！” print(vstr) print(len(vstr)) 输出结果如下所示： ['人生苦短', '我用python！'] 2 ['人生苦短，我用pytho
笔试编程题的输入输出(Python)
JohnJim的博客
09-11 2369
多行多组输入1 res = [] n = int(input()) # 首行输入一个数字确定行数 for _ in range(n): # 确定行数直接for循环 try: # 不加try判断可能会出现EOF问题 line = input() # 输入就是input except: break a,b = line.split() # 一行多个数字即多组输入时，需要split res.append(int(a)+int(b)) # 记得类型
运用python制作词云（2）
人生苦短， 还不用Python？
05-25 563
在运用python制作词云（1）中我们知道了可以用jieba库将语句拆分成词组 接下来我们将使用wordcloud库将得到的词组制作成词云 前排提示： join（）函数使用 语法： 'sep'.join(seq) 上面的语法即：以sep作为分隔符，将seq所有的元素合并成一个新的字符串 返回值：返回一个以分隔符sep连接各个元素后生成的字符串 遇到python不懂的问题，可以加Py...
Python 将一句话按空格仅输出首个单词
Yzlz_xxp的博客
10-21 665
def first_word(text): index = text.find(" ") return text[:index] if index != -1 else text first_word("Hello world") == "Hello" first_word("a word") == "a" first_word("hi") == "hi" text.find(" ")功能被遗忘，导致使用了弯弯绕绕才做出来 原始代码： a="a word" d=[] for ...
浙大版《数据结构（第2版）》题目集- 习题 5.13
专栏
01-28 210
习题5.13词频统计(30point(s)) 请编写程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。 所谓“单词”，是指由不超过80个单词字符组成的连续字符串，但长度超过15的单词将只截取保留前15个单词字符。而合法的“单词字符”为大小写字母、数字和下划线，其它字符均认为是单词分隔符。 ...
python 函数
凤凰传奇的粉丝
08-04 274
map()是 Python 内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回。 abc = ['com','fnng','cnblogs'] for i in range(len(abc)): print len(abc[i]) #========输出=========== 3 4 7 R
Python——程序书写规范
XQC_KKK的博客
09-19 3850
Python——程序书写规范 Python的语句 Python 通常是一行书写一条语句,如果一行内书写多条语句,语句间应使用分号分隔。建议每行只写一条语句,并且语句结束时不写分号。 如果一条语句过长,可能需要换行书写,这时可以在语句的外部加上一对圆括号来实中可以使用“\”(反斜杠)来实现分行书写功能。 写在圆括号中的语句类似,写在[]、{}内的跨行语句被视为一行语句,不再需要使用圆许号换行。 代码的块与缩进 Python语句进行缩进的空格数在程序编辑环境中是可调整的，但要求同一个代码块的语句必须包含相同的缩

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值