词频统计及tf*idf应用

最新推荐文章于 2023-10-09 15:02:14 发布
最新推荐文章于 2023-10-09 15:02:14 发布
阅读量816 收藏
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wintersense/article/details/38114035
版权

我继续完善次品统计的工作，1）该文件可以读入temp中的各个文章，

                                                     2）读入stop文件夹中的过滤词汇，

                                                     3）将输出结果反应在result.txt文件中

//
//创建者：李航前
//创建时间：2014.7.19
//文件内容：读取文件中txt文件
/
//存在问题：1）模块越来越多，下一步实现分治。
//
//
#include <string>
#include <iostream>
#include <set>
#include <vector>
#include <map>
#include <fstream>
#include <algorithm>
#include <io.h>
using namespace std;

typedef pair<int, string> PAIR;  

int main(){
	 _finddata_t fileDir;
	 char* dir="temp\\*.txt";
	 long lfDir;
	 string  file_name_str;

	ifstream infile;
	ifstream stop_infile;
	ofstream outfile;
	string sentence;
	unsigned int pos1,pos2;
	string word;
	string stop_word;
	int order=1;
	int sign;//相当于停用词的一个开关

	/*定义set容器来存储sentence里的单词种类*/
	set<string> s;
    set<string>::iterator si; 

	/*定义map容器来存储统计词频的数量*/
	map<string,int>  word_count;  
    map<string,int>::iterator mapIter;
	pos1=0;
	/*读取文件夹temp中文件并存储在set数组中*/
	set<string> file_name;
	set<string>::iterator fileIter;
	if((lfDir = _findfirst(dir,&fileDir))==-1l)
        printf("No file is found\n");
    else{
        do{
			file_name.insert(fileDir.name);
        }while( _findnext( lfDir, &fileDir ) == 0 );
    }
	_findclose(lfDir);

	/*下面是停用词阶段*/
	/*以set存储含停用词停用词文件*/
		 _finddata_t stop_fileDir;
	     char* stop_dir="stop\\*.txt";
	     long stop_lfDir;
		 string  stop_file_name_str;
		 
		 set<string> stop_file_name;/*存储stop文件夹中所有txt文件*/
	     set<string>::iterator stop_fileIter;
	if((stop_lfDir = _findfirst(stop_dir,&stop_fileDir))==-1l)
        printf("No stop file is found\n");
    else{
        do{
			stop_file_name.insert(stop_fileDir.name);
        }while( _findnext( stop_lfDir, &stop_fileDir ) == 0 );
    }
	_findclose(stop_lfDir);
	/*以set存储所有停用词*/
	set<string>  stop_word_set;/*存储所有停用词*/
	set<string>::iterator stop_worditer;

	for(stop_fileIter=stop_file_name.begin();stop_fileIter!=stop_file_name.end();stop_fileIter++){	
		stop_file_name_str="stop\\"+*stop_fileIter;
		stop_infile.open(stop_file_name_str);
		if (!stop_infile)
			cout<<"stop file can not open file"<<endl;		
		while(true){
			//stop_infile>>stop_word;
			getline(stop_infile,stop_word);
			stop_word_set.insert(stop_word);
			if(stop_infile.eof())
				break;
		}
		stop_infile.close();
	}
	for(fileIter=file_name.begin();fileIter!=file_name.end();fileIter++){		
		file_name_str="temp/"+*fileIter;
		infile.open(file_name_str);
		if (!infile)
			cout<<"can not open file"<<endl;
		/*录入每个自然段*/
		while(true){
			//infile>>sentence;	
			getline(infile,sentence);
				/*录入每段中的词语*/
				while(true){
					pos2=sentence.find(" ",pos1);
					word=sentence.substr(pos1,pos2-pos1);
					/*在此增加停用词*/

					sign=0;
					for(stop_worditer=stop_word_set.begin();stop_worditer!=stop_word_set.end();stop_worditer++){
						if(word==*stop_worditer){
							sign=1;
							break;
						}
					}
					if(sign==0){
					  s.insert(word);
					}

					pos1=pos2+1;
					if((int)pos2==-1)
						break;
				  }
				/*判断是否读到文件末尾，如果读到文件末尾，则跳出while()循环*/	
				if(infile.eof()) 
					break;	
		}
		infile.close();
	}
		for(si=s.begin();si!=s.end();si++){ 
			cout<<*si;
			word=*si;
			word_count[word]=0; 
		}
		/*以上操作统计了文章中的词语种类，接下来要做的是统计每种词语出现次数*/
	for(fileIter=file_name.begin();fileIter!=file_name.end();fileIter++){
		file_name_str="temp/"+*fileIter;
		infile.open(file_name_str);
		/*录入每个自然段*/
		while(true){
			//infile>>sentence;	
			getline(infile,sentence);
			/*录入每段中的词语*/
				while(true){
					pos2=sentence.find(" ",pos1);
					word=sentence.substr(pos1,pos2-pos1);
					/*以下增加停用词操作*/
					sign=0;
					for(stop_worditer=stop_word_set.begin();stop_worditer!=stop_word_set.end();stop_worditer++){
						if(word==*stop_worditer){
							sign=1;
							break;
						}
					}
					if(sign==0){
						word_count[word]=word_count[word]+1;
					}
					pos1=pos2+1;
					if((int)pos2==-1)
						break;
				  }
				/*判断是否读到文件末尾，如果读到文件末尾，则跳出while()循环*/	
				if(infile.eof()) 
					break;		
		}
		infile.close();
	}
	/*下面将map赋值给vector，再对vector中元素以value从大到小的顺序排序*/
	vector<PAIR> word_count_vec;
	for(mapIter=word_count.begin();mapIter!=word_count.end();mapIter++){
		word_count_vec.push_back(make_pair<int,string>((*mapIter).second,(*mapIter).first));
	}	
	vector<PAIR>::const_iterator vecIter;
	sort(word_count_vec.begin(), word_count_vec.end(),greater<PAIR>());
/*下面把读出内容写入文件中*/
	ofstream fout("result.txt");
	fout << "统计结果"<<endl;
	fout <<"*******************************************************"<<endl;
	fout <<"**       词语                          词频          **"<<endl;
	for(vecIter=word_count_vec.begin();vecIter!=word_count_vec.end();vecIter++){
		fout <<"**"<<order<<"    "<<(*vecIter).second<<"                          "<<(*vecIter).first<<"          **"<<endl;
		order++;
	}
	fout <<"********************************************************"<<endl;

	cout<<"执行结束"<<endl;
	system("pause");
	return 0;
}



/
//创建人：李航前
//时间：2014.8.17
//内容：tf*idf练习
/

#include <iostream>
#include <set>
#include <string>
#include <io.h>
#include <fstream>
#include <vector>
#include <algorithm>
#include <map>

using namespace std;

typedef pair<double,string> PAIR;    
    
void ReadFile(set<string>& a,char* dir){
	//读取dir文件夹中所有txt文件名,并把文件名存储到set数组中
	 _finddata_t fileDir;  
     //char* dir="temp\\*.txt";  
     long lfDir;
    if((lfDir = _findfirst(dir,&fileDir))==-1l)  
        printf("No file is found\n");  
    else{  
        do{  
            a.insert(fileDir.name);  
        }while( _findnext( lfDir, &fileDir ) == 0 );  
    }  
    _findclose(lfDir);  
}

void ReadWord(string &filename,vector<string> &s){
	//取读txt文件中所有分词，并把他们存储在s数组中；函数中参数值分别表示txt文件名称，存储分词结果的数组s
	ifstream infile;
	infile.open(filename);
	string sentence;//整个自然段
	string word;
	int pos1,pos2;
	pos1=0;
	while(true){
		getline(infile,sentence);
		while(true){  
            pos2=sentence.find(" ",pos1);  
            word=sentence.substr(pos1,pos2-pos1);  
			s.push_back(word);  
            pos1=pos2+1;  
            if((int)pos2==-1)  
                break;  
            }  
		if(infile.eof())
			break;
	}
}

int BinSearch(string &word,vector<string> &s){
	/*二分查找算法,函数前是词语word，后面的是处理过的过滤词表*/
	int low=0,high=s.size()-1,mid;
	while(low<=high){
		mid=(low+high)/2;
		if(s[mid]==word)
			return 0;
		if(s[mid]>word)
			high=mid-1;
		else
			low=mid+1;
	}
	return 1;
}

void ReadTest(map<string,int> &s,string &filename ,vector<string> &stop){
	/*读取test文件*/
	ifstream infile;
	infile.open(filename);
	string sentence;
	string word;
	int pos1,pos2;
	pos1=0;
	while(true){
		getline(infile,sentence);
		while(true){  
            pos2=sentence.find(" ",pos1);  
            word=sentence.substr(pos1,pos2-pos1);  
			if(BinSearch(word,stop)){
				s[word]++;  
				}
				pos1=pos2+1;  
			
			if((int)pos2==-1)  
                break;  
            }  
		if(infile.eof())
			break;
	}
}
int main(){
	set<string> fileName;
	set<string>::iterator fileIter;
	ReadFile(fileName,"temp\\*.txt");
	string file_name_str;

	/******************************************************************/
	/*下面结构将语料库的各个txt文件读取后存储在多个二维数组中，*/
	vector< vector<string>> array;
	vector<vector<string>>::iterator arrayIter;
	vector<string> line;
	vector<string>::iterator lineIter;
	int i=0;
	for(fileIter=fileName.begin();fileIter!=fileName.end();fileIter++){
		array.push_back(line);
		file_name_str="temp\\"+*fileIter;
		ReadWord(file_name_str,array[i]);
		sort(array[i].begin(),array[i].end());
		for(lineIter=array[i].begin();lineIter!=array[i].end()-1;){
			if(*lineIter==*(lineIter+1))
				lineIter=array[i].erase(lineIter);
			else
				++lineIter;
		}
		i=i+1;
	}
	/******************************************************************/
	/*读取停用词表，并存储在stop容器中*/
	vector<string> stop;
	vector<string>::iterator stopIter;
	string stopname;
	stopname="stop.txt";
	ReadWord(stopname,stop);
	sort(stop.begin(),stop.end());
	
	/******************************************************************/
	/*读取test.txt的文件，吧所有词通过过滤词表后存储在test中*/
	map<string,int> test;
	map<string,int>::iterator testIter;
	string test_file_name;
	test_file_name="test.txt";
	ReadTest(test,test_file_name,stop);

	/******************************************************************/
	/*下面是tf*idf方面的工作*/
	map<string,int> idf;
	map<string,int>::iterator idfIter;
	int z;
	string word;
	int size;
	
	for(testIter=test.begin();testIter!=test.end();testIter++){
		word=(*testIter).first;
		z=0;
		for(arrayIter=array.begin();arrayIter!=array.end();arrayIter++,z++){
			if(z==array.size()){
					break;
			}
			
			if(BinSearch(word,array[z])==0){
				idf[(*testIter).first]++;
			}
		}
	}
	
	vector<PAIR> result;
	vector<PAIR>::iterator rIter;
	double end;
	for(idfIter=idf.begin(),testIter=test.begin();idfIter!=idf.end(),testIter!=test.end();idfIter++,testIter++){		
		end=(double)(*testIter).second*log((double)(array.size()/(*idfIter).second));//计算被分词文章每个分词的tf*idf值
		result.push_back(make_pair<double,string>(end,(*idfIter).first));
	}
	sort(result.begin(),result.end(),greater<PAIR>());
	for(rIter=result.begin();rIter!=result.end();rIter++){
		cout<<(*rIter).first<<"************"<<(*rIter).second<<endl;
	}
	system("pause");
}


wintersense
关注
专栏目录
TF-IDF原理及多国语言应用
Mr数据杨
12-27 2092
TF-IDF 是一种常用的自然语言处理技术，它可以帮助我们提取文档中的关键词，从而更好地理解文档的内容。在自然语言处理中，关键词是非常重要的，因为它们可以帮助我们确定文档的主题。例如我们可以使用关键词来建立文档的索引，从而更容易地检索文档。此外TF-IDF 还可以帮助我们对文档进行分类和聚类。例如我们可以使用关键词来将文档分类为不同的类别，或者将相似的文档聚在一起。因此学习 TF-IDF 对于自然语言处理是非常有用的，可以帮助我们更好地理解文档的内容，并帮助我们进行文档分类和聚类。
统计词频，和对文档进行分词处理，计算tf-idf值。
05-20
统计词频，和对文档进行分词处理，计算tf-idf值。
TF-IDF与余弦相似性的应用（一）：自动提取关键词
wangqz1027的专栏
06-02 6846
作者： 阮一峰 日期： 2013年3月15日 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经
词频统计之TF-IDF
最新发布
StephenC_30的博客
10-09 627
词频统计，文本分类前
词频统计（三）
A1_00078的博客
03-22 149
Part A: 词频统计的需求分析 一、系统简介。 词频统计是一个在线统计一篇英文文档中的单词总个数，每个单词出现的次数的这样的一个统计系统。 二、主要功能。 1. 上传文档。 2. 统计所有单词数目。 3. 统计文档的总行数。 4. 统计文档中相邻两个单词出现的次数。 5. 按词频的数量从大到小进行...
正则表达式+词频统计+TF-IDF及其算法
qq_36847641的博客
10-31 1854
https://github.com/Yixiaohan/show-me-the-code的一道题目。 第 0006 题： 你有一个目录，放了你一个月的日记，都是 txt，为了避免分词的问题，假设内容都是英文，请统计出你认为每篇日记最重要的词。 参考的两个答案： http://www.cnblogs.com/InitialD/p/7348877.html http://blog.csdn.n
文本词频统计是字典吗_TF-IDF词频逆文档频次算法
weixin_33259400的博客
01-15 496
TF-IDF算法一、TF-IDF算法简介TF-IDF (词频-逆文档频次) 算法包含两部分：TF算法和IDF算法。频次：一个单词在某篇文档中出现的次数。TF算法 TF(Term Frequency)算法是统计一个词在一篇文档中出现的频次。基本思想：一个词在文档中出现的次数越多，其对文档的表达能力就越强。特点：TF仅衡量词的出现频次，而没有考虑到词对文档的区分能力。计算：tf(word)...
新闻数据分词、词性标注、TF-IDF、词频统计、词云
qq_41864339的博客
12-26 1607
参考文章 一. 思路 利用pandas读取csv文件中的新闻数据，并创建3个新列用来存放分词结果、词性标注结果、分词+词性标注结果 利用jieba分词工具的posseg包，同时实现分词与词性标注 利用停用词表对分词结果进行过滤 将分词结果以20000条为单位写入txt文档中，便于后续的词频统计以及词云制作 将最终的分词结果与词性标注结果存储到csv文件中 二. 流程 2.1 jieba分词与词性标注 import pandas as pd import jieba.posseg as pseg, j.
词频统计与TF-IDF权重计算原理解析
接下来我们将详细介绍词频统计方法的计算公式、在文本处理中的应用以及其局限性。 ### A. 词频统计的计算公式 在词频统计中，通常使用的计算公式为： 词频（Term Frequency, TF）= 某个词在文本中出现的次数 / ...
Python爬取十篇新闻统计TF-IDF
12-25
统计TF-IDF词频，每篇文章的 top10 的高频词存储为 json 文件 TF-IDF TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词...
Tfidf词频计算
05-28
基于tf idf的文档集关键词提取 已经含有测试文档集 可以替换成任意需要的文档集 可以自己提供字典
文档相似度比较TF*IDF算法的实现（C#）
07-22
这个算法基于两个核心概念：词频（Term Frequency, TF）和逆文档频率（Inverse Document Frequency, IDF）。在C#中实现TF-IDF，通常涉及到以下几个步骤： 1. **词频(Term Frequency, TF)**: 词频是指一个词在文档中...
文本数据预处理进阶：词频统计与TF-IDF权重计算
本章将介绍词频统计的基本概念、实现方法以及在文本数据挖掘中的应用。 ### 2.1 什么是词频统计 词频统计指的是计算文本中每个词出现的频次，通常以单词为单位进行统计。通过词频统计，我们可以得知文本中哪些词...
MapReduce中练习使用API编程：词频统计（TF-IDF）
wyqwilliam的博客
09-24 1006
Java读取文件转为字符串
weixin_37558119的博客
09-25 1683
Java读取文件转为字符串 文件上传读取上传的文件转为字符串 /** * 读取文件中的内容 * @param file * @return string */ private String parseFile2String(MultipartFile file){ if(file.isEmpty()){ return ""; } BufferedReader reader = null;
词频统计现实应用（二）
11-25 558
词频统计在现实生活中不单单是我们所应用，随着信息化的飞速发展,各个部门以及 相关政府也会进行相关的数据词频等相关的统计，词频数据已日益成为世界各国进行 各项决策及从事各项活动的重要战略资源与可靠行动依据。词频不单单在英语中所应用 在中国的知网，万方等知名网站都会应用到词频统计。通过词频统计政府可以研究相关热点 走势等等。在数据统计热点常常被应用到"政府统计"、"电子政务"、"物联...
机器学习笔记-TF-IDF统计方法
weixin_45695256的博客
10-19 960
机器学习笔记-TF-IDF统计方法 TF-IDF统计方法 简介 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 其主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。 TFIDF实际上是： TF∗IDF TF * IDF TF∗IDF TF为词频(Term Frequency)，
PythonTF-IDF算法对文本进行统计词频
Maqiuqiu520的博客
11-12 7408
PythonTF-IDF算法对文本进行统计词频 介绍： TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF...
文本词频统计的应用——以微词云平台为例
m0_57340659的博客
11-02 2183
其实，我们也可以对文本信息进行词频分析，从而把握其中的中心思想或是关键信息。词频分析(Word Frequency Analysis)：对一文本数据中某词汇出现的次数进行统计与分析，是文本挖掘的重要手段。此外，我们也可以选择将词云图进行个性化设计。之后，就是一个个人十分偏爱的功能（也是本平台的一个亮点）：根据文本信息得出一份多维度的分析报告，根据这份报告，我们就可以完成一些基础的数据分析工作了。接下来，完成内容的输入或导入：我们可以直接将文本粘贴在文本框中，或是以txt/excel的形式导入文件。
中文文本可视化实现：基于词频统计与TF-IDF算法
"基于词频统计的文本可视化实现 (2016年)"，这篇文章是2016年发表在《软件》杂志上的一篇工程技术论文，由朱巧撰写，研究方向为数据可视化。文章主要探讨了如何利用文本可视化技术处理海量文本数据，通过词频统计来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值