智能分词
分词是指将一个字符串分割成词语序列,其中所有词语都来自事先指定的词汇表。例如:
有字符串”github”,以及词汇表[“git”, “hub”],那么分词方式为:”git hub”。
分词可能有多重方式,例如字符串”asdfjkl”,以及词汇表[“as”, “asd”, “df”, “fjkl”, “jkl”],可能有两种分词方法:”as df jkl”、”asd fjkl”。先定义每种分词方法的合理性得分为:分词方案中每个单词长度的平方和。例如上述两种分词方案的得分分别为 2^2 + 2^2 + 3^2 = 17,以及 3^2 + 4^2 = 25。
现给出词汇表(均为小写字母,单词最长50字符,最多10个万单词),以及一句话(均为小写字母,最长10万字符),找出最合理的分词方案。若有多种得分相同的最合理方案,输出长词尽量靠前的方案。例如”ab cdef”与”abcd ef”这两种最优方案得分相同,输出”abcd ef”。
编译器版本: gcc 4.8.4
请使用标准输入输出(stdin,stdout) ;请把所有程序写在一个文件里,勿使用已禁用图形、文件、网络、系统相关的头文件和操作,如sys/stat.h , unistd.h , curl/curl.h , process.h
时间限制: 3S (C/C++以外的语言为: 5 S) 内存限制: 128M (C/C++以外的语言为: 640 M)
输入:
第一行为待分语句;第二行为词汇表中的单词数量N;接下来N行,每行一个单词。
输出:
一行,分隔后的语句,以空格分隔各个单词。
输入范例:
asdfjkl
5
as
asd
df
fjkl
jkl
输出范例:
asd fjkl
#include <iostream>
#include <string>
#include <map>
#include <algorithm>
#include <vector>
#include <set>
#include <fstream>
using namespace std;
int ans = 0;
vector<string> res;
void dfs(const set<string> &s, int n, const string &str, string tmp, int dep, int score)
{
if(dep >= n)
{
if(score > ans)
{
ans = score;
res.clear();
res.push_back(tmp);
}
else if(score == ans)
res.push_back(tmp);
return;
}
string t = "";
for(int i=dep; i<n; i++)
{
t = t + str[i];
if(s.count(t))
{
string pre = tmp;
int len = t.size();
dfs(s, n, str, tmp+t+" ", i+1, score + len*len);
tmp = pre;
}
}
}
bool cmp(const string &s1, const string &s2)
{
int n1 = s1.size();
int n2 = s2.size();
int i1 = 0, i2 = 0;
vector<string> v1, v2;
string str = "";
while(i1 < n1)
{
if(s1[i1] != ' ')
str = str + s1[i1];
else
{
v1.push_back(str);
str = "";
}
i1++;
}
str = "";
while(i2 < n2)
{
if(s2[i2] != ' ')
str = str + s2[i2];
else
{
v2.push_back(str);
str = "";
}
i2++;
}
i1 = 0;
i2 = 0;
n1 = v1.size();
n2 = v2.size();
while(i1 < n1 && i2 < n2)
{
if(v1[i1].size() > v2[i2].size())
return true;
else
return false;
i1++;
i2++;
}
return false;
}
int main()
{
//ifstream cin;
//cin.open("1.txt");
string str;
cin >> str;
int n;
cin >> n;
set<string> s;
string tmp;
for(int i=0; i<n; i++)
{
cin >> tmp;
s.insert(tmp);
}
dfs(s, str.size(), str, "", 0, 0);
sort(res.begin(), res.end(), cmp);
cout << res[0] << endl;
return 0;
}