词频统计(30 point(s))

词频统计(30 point(s))

请编写程序,对一段英文文本,统计其中所有不同单词的个数,以及词频最大的前10%的单词。

所谓“单词”,是指由不超过80个单词字符组成的连续字符串,但长度超过15的单词将只截取保留前15个单词字符。而合法的“单词字符”为大小写字母、数字和下划线,其它字符均认为是单词分隔符。

输入格式:

输入给出一段非空文本,最后以符号#结尾。输入保证存在至少10个不同的单词。

输出格式:

在第一行中输出文本中所有不同单词的个数。注意“单词”不区分英文大小写,例如“PAT”和“pat”被认为是同一个单词。

随后按照词频递减的顺序,按照词频:单词的格式输出词频最大的前10%的单词。若有并列,则按递增字典序输出。

输入样例:

This is a test.

The word "this" is the word with the highest frequency.

Longlonglonglongword should be cut off, so is considered as the same as longlonglonglonee.  But this_8 is different than this, and this, and this...#
this line should be ignored.

输出样例:(注意:虽然单词the也出现了4次,但因为我们只要输出前10%(即23个单词中的前2个)单词,而按照字母序,the排第3位,所以不输出。)

23
5:this
4:is

感谢武汉理工大学的郭小兵老师修正测试数据!


code:

#include <iostream>
#include <cstdio>
#include <cstring>
#include <algorithm>
#include <map>
#include <vector>
using namespace std;
bool cmp(pair<string,int> a,pair<string,int> b){
    if(a.second != b.second)
        return a.second > b.second;
    else return a.first < b.first;
}
vector<pair<string,int> >v;
map<string,int>m;
int main(){
    char str[100];
    string word;
    map<string,int>::iterator it;
    int start = 0;
    char ch;
    while(ch = getchar()){
        if(ch >= 'a' && ch <= 'z' || ch >= 'A' && ch <= 'Z' || ch >= '0' && ch <= '9' || ch == '_'){
            if(ch >= 'A' && ch <= 'Z')
                ch = ch - 'A' + 'a';
            str[start++] = ch;
        }
        else if(start > 0){
            if(start >= 15) start = 15;
            str[start] = 0;
            start = 0;
            word = str;
            it = m.find(word);
            if(it != m.end()){
                (it->second)++;
            }
            else{
                m[word] = 1;
            }
        }
        if(ch == '#') break;
    }
    for(it = m.begin(); it != m.end(); it++){
        v.push_back(make_pair(it->first,it->second));
    }
    sort(v.begin(),v.end(),cmp);
    vector<pair<string,int> >::iterator itv;
    cout << v.size() << endl;
    int ans = v.size() / 10;
    for(itv = v.begin(); itv != v.begin()+ans; itv++){
        cout << itv->second << ":" << itv->first << endl;
    }
    return 0;
}

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值