Word frequency program 词频分析程序

最新推荐文章于 2021-03-20 18:34:43 发布
最新推荐文章于 2021-03-20 18:34:43 发布
阅读量107 收藏
点赞数
文章标签： c#
原文链接：http://www.cnblogs.com/yao9208/archive/2012/09/24/2700756.html
版权

词频分析报告

 

1）计划时间：

单词类Word：30min

主函数Main：30min

单词计数类CountWord：3h

 

2）实际时间：

单词类Word：30min

主函数Main：30min

单词计数类CountWord：4h

 

3）性能优化所用时间：4h

 

 

4)共10组测试数据，其中5组正常模式，5组扩展模式

分别用了5个例子分别用正常模式和扩展模式运行运行一遍，分别是一篇常规英语文章，一个代码文件夹，一个空文件夹，一个大小写敏感测试文件，一个超大文件夹。

5）收获

熟悉了C#接口的用法；

起初准备用有限自动机写，后来发现有些麻烦，使用了正则表达式来匹配，熟悉了正则表达式的使用；

了解了C#中文件读写的方法与规范。

 

 

转载于:https://www.cnblogs.com/yao9208/archive/2012/09/24/2700756.html

advmq6578
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NLTK - 基本使用
编码时光
12-31 636
分词 处理 html 标签等字符 查看频率分布 Text对象 停用词过滤 加载停用词 查看英文停用词表 查看和停用词表的交集 把停用词过滤掉 词性标注 pos_tag 分块 命名实体识别 数据清洗
乔布斯传中的英文词频统计
热门推荐
yujiaao的专栏
09-30 3万+
0: 1 0.9: 1 0006939: 1 03.html: 1 1: 49 1,000: 9 1,200: 1 1,299: 1 1,300: 1 1,500: 3 1,995: 3 1-866-248-3049: 1 1.0: 4 1.04: 1 1.2: 3 1.3: 2 1.5: 1 1.7: 2 1.79: 1 1.8-inch: 3 10: 6...
利用word分词来对文本进行词频统计
xiaomin1991222的专栏
09-12 641
word分词中的 org.apdplat.word.WordFrequencyStatistics 类提供了词频统计的功能 命令行脚本的调用方法如下： ? 1 2 3 将需要统计词频的文本写入文件：text.txt chmod +x wfs.sh & wfs.sh -textFile=text.txt -statisticsResultFile=...
中文词频分析
dic4995的博客
03-18 732
中文词频统计 1. 下载一长篇中文小说。 三体 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 4. 更新词库，加入所分析对象的专业词汇。 import re import collections import numpy as np import jieba from wordcloud import WordCloud # 词云展示库 ...
jieba对word文档词频分析
sjt2015的博客
11-26 513
import docx import jieba from collections import Counter import pandas as pd import xlwt document=docx.Document(r"C:\Users\fj\Desktop\讲话稿.docx") content=" ".join([para.text for para in document.paragraphs]) seg_list=jieba.cut(content,cut_all=False) seg_lis
192. Word Frequency 使用shell统计词频
楼上小宇_home
06-18 6148
答案 cat words.txt | sed 's/ /\n/g' | sed '/^$/d' | sort | uniq -c | awk '{print $2, $1}' | sort -nrk2 解释 使用sed将空格替换成换行，并且删除空白行 然后使用sort进行排序然后统计出词频 最后将结果以答案要求的方式输出...
wordcount词频统计讲解比较详细
qq_26449287的博客
09-15 3502
https://songlee24.github.io/2015/07/29/mapreduce-word-count/
基于Hadoop的文件词频统计的实现（大数据技术课程设计）
最新发布
07-14
This file contains some words for testing the word frequency counting program. ``` #### 二、项目实现步骤与结果 ##### 2.1 搭建 Linux 分布式集群 1. **安装Linux系统**：选择合适的Linux发行版进行安装。...
python情感分析语料库_python 中文情感分析 Snownlp库的使用
weixin_39698007的博客
11-29 2218
不甘心的时候，就是在进步；痛苦的时候，就是在成长。文章目录一、Snownlp 简介SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。注意本程序都是处理的u...
python，给定一段英文文本，统计每个单词出现的次数，打印输出，按照词频从高到低输出
04-17
This text can be used to test the word frequency count program in Python." # Remove punctuation and convert to lowercase text = text.lower() text_no_punct = "" for char in text: if char.isalpha() ...
词频分析
充实喜乐
12-06 1万+
初次用到词频分析工具，对词频分析工具的一个初步了解，与大家一起学习分享，每天进步一点点
wordcloud词云分析及词频统计绘图
awakeljw的博客
10-23 1万+
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Date : 2017-10-18 17:52:25 # @Author : awakeljw # @Link : http://blog.csdn.net/awakeljw/ # @Version : $Id$ from w
【上中课程】词云Word Cloud（标签云、词频分析、文本分析）的实现——应用jieba库和wordcloud库
天下我心
03-24 2481
词云，又称文字云、标签云，是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现，形成关键词的渲染形成类似云一样的彩色图片，从而一眼就可以领略文本数据的主要表达意思。常见于博客、微博、文章分析等。 基本概念： 1.语 料 库：预料库是我们要分析的所有文档的集合 2.中文分词：指的是将一个汉字序列切成一个一个单独的词 3.停 用 词：数据处理的时候，自动过滤掉某些字或词...
使用python读取word统计词频并生成词云
Twinkle_sone的博客
03-20 4094
1、准备 需要用到python-docx，jieba和wordcloud模块，先install pip3 install jieba pip install wordcloud 2、开始代码 （1）导入需要用到的模块 import re import jieba import docx from wordcloud import WordCloud import matplotlib.pyplot as plt （2）读取word文档的文本内容 此模块主要使用到了python-docx，官方文档地址：
Python数据挖掘：WordCloud词云配置过程及词频分析
weixin_34007906的博客
03-12 421
这篇文章是学习了老曹的微信直播，感觉WordCloud对我的《Python数据挖掘课程》非常有帮助，希望这篇基础文章对你有所帮助，同时自己也是词云的初学者，强烈推荐老曹的博客供大家学习。如果文章中存在不足或错误的地方，还请海涵~一. 安装WordCloud在使用WordCloud词云之前，需要使用pip安装相应的包。pip install WordCloudpip inst...
WordCount词频统计
weixin_44686879的博客
12-23 1万+
WordCount词频统计 from educoder实训 实训项目地址：https://www.educoder.net/shixuns/aekgf6pz/challenges 本关任务 词频统计是最能体现MapReduce思想的程序，结构简单，上手容易。 词频统计的大致功能是：统计单个或者多个文本文件中每个单词出现的次数，并将每个单词及其出现频率按照<k，v>键值对的形式输出，其基本执行流程如下图所示： 由图可知： 输入文本（可以不只一个），按行提取文本文档的单词，形成行<k1，v
python统计word词频_python统计word文档中的词频
weixin_39856055的博客
12-06 1180
如何将统计word文档中的词频呢？先用docx模块将word文档转变成txt格式，然后使用jieba模块进行分词，并统计词频。是不是很简单～#2020年3月10日#Elizabethfrom docx import Documentimport jieba #分词模块#自定义函数，将word文档写入txt文档def to_txt(path):document=Document(path)txt=o...
自己动手写word2vec (二):统计词频
Multiangle's Notepad
07-14 2万+
在我之前写的word2vec的大概流程中，第一步的分词使用jieba来实现，感觉效果还不错。第二步. 统计词频统计词频，相对来讲比较简单一些，主要在Python自带的Counter类基础上稍作改进。值得注意的是需要去掉停用词。所谓停用词，就是出现频率太高的词，如逗号，句号等等，以至于没有区分度。停用词可以在网上很轻易找到，我事先已经转化成二进制的格式存储下来了。这一部分的代码放在WordCount.
美国当代艺术评论词频分析：1960-2015
"这篇论文是《开放现代语言学杂志》2018年第8期的一篇文章，由Yanhui Jiang和Junhui Gao撰写，题为'1960年至2015年美国当代艺术评论的词频分析'。研究通过自然语言处理（NLP）技术对1960年至2015年间八种当代艺术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值