7-3 词频统计

7-3 词频统计

请编写程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。

所谓“单词”，是指由不超过80个单词字符组成的连续字符串，但长度超过15的单词将只截取保留前15个单词字符。而合法的 “单词字符”为大小写字母、数字和下划线，其它字符均认为是单词分隔符。

输入格式:
输入给出一段非空文本，最后以符号 #结尾。输入保证存在至少10个不同的单词。

输出格式:
在第一行中输出文本中所有不同单词的个数。注意“单词”不区分英文大小写，例如 “PAT”和“pat”被认为是同一个单词。

随后按照词频递减的顺序，按照词频:单词的格式输出 词频最大的前10% 的单词。若有并列，则按递增字典序输出。

输入样例：

This is a test.
The word “this” is the word with the highest frequency.
Longlonglonglongword should be cut off, so is considered as the same as longlonglonglonee. But this_8 is different than this, and this, and this…#
this line should be ignored.

输出样例：（注意：虽然单词the也出现了4次，但因为我们只要输出前10%（即23个单词中的前2个）单词，而按照字母序，the排第3位，所以不输出。）

23
5:this
4:is

1. 用 map 容器吧所有的单词读进去 （按字母读）
2. 把信息转入到 vector 中去进行排序
   vector map set基础使用

#include<iostream>
#include<cstring>
#include<algorithm>
#include<map>
#include<vector>

using namespace std;
typedef pair<string, int> PII;
map<string,int> mp;
map<string,int>::iterator it;
vector<PII> q;

bool cmp(PII a,PII b)  //   自定义排序方式
{
    if(a.second!=b.second) return a.second>b.second;  //  出现的次数
    else
        return a.first<b.first;    //   字母序
}

int main()
{
    string s;
    char x;
    while(~scanf("%c",&x)&&x!='#')  //  一个字符一个字符的读  遇到 # 结束
    {
        if( (x>='A'&&x<='Z') || (x>='a'&&x<='z') || (x>='0'&&x<='9') || x=='_')
        {
            if(x>='A'&&x<='Z') x=x-'A'+'a';   // 都转化成小写
            if(s.size()<15) s+=x;        //   如果大于 长度15   只要前十五个
        }
        else     //  遇到非合法字符
        {
            if(s.size()>0) mp[s]++,s.clear();   //  存到map<string,int> 中去
        }
    }
    for(it=mp.begin();it!=mp.end();it++)      //  把map  中的信息转入到  vector中去   也可转到结构体中  用结构体解决
        q.push_back({it->first,it->second});
    
    sort(q.begin(),q.end(),cmp);    // 按定义的方式排序
    
    cout<<q.size()<<endl;        //  输出一共单词个数
    int l=q.size()/10;
    
    for(int i=0;i<l;i++)      // 遍历前10%
        cout<<q[i].second<<':'<<q[i].first<<endl;
        
    return 0;
}

结构体法

#include<iostream>
#include<cstring>
#include<algorithm>
#include <cctype>

using namespace std;
int idx;

struct node
{
    string st;
    int num;
}p[10010];

bool cmp(node a,node b)  //   自定义排序方式
{
    if(a.num!=b.num) return a.num>b.num;  //  出现的次数
    else
        return a.st<b.st;    //   字母序
}

int main()
{
    string s;
    char x;
    while(~scanf("%c",&x)&&x!='#')  //  一个字符一个字符的读  遇到 # 结束
    {
        if( isalpha(x) || (x>='0'&&x<='9') || x=='_')
        {
            if(isupper(x)) x= tolower(x);   // 都转化成小写
            if(s.size()<15) s+=x;        //   如果大于 长度15   只要前十五个
        }
        else     //  遇到非合法字符
        {
            if(s.size()>0)
            {
                int i;
                for(i=0;i<idx;i++)
                     if(p[i].st==s){p[i].num++;break;}

                if(i==idx) p[idx].st=s,p[idx++].num++;
                s.clear();  
            }
        }
    }

        
    sort(p,p+idx,cmp);    // 按定义的方式排序
    
     cout<<idx<<endl;        //  输出一共单词个数
    int l=idx/10;
    
    for(int i=0;i<l;i++)      // 遍历前10%
        cout<<p[i].num<<':'<<p[i].st<<endl;
        
    return 0;
}