-
题目描述
给定一个连续不包含空格字符串,该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号),同时给定词库,对该字符串进行精确分词。
说明:
1.精确分词: 字符串分词后,不会出现重叠。即“ilovechina” ,不同词库可分割为 “i,love,china”“ilove,china”,不能分割出现重叠的"i,ilove,china",i 重叠出现
2.标点符号不成词,仅用于断句
3.词库:根据外部知识库统计出来的常用词汇例:dictionary=[“i”,“love”,“china”,“lovechina”,“ilove”],
4.分词原则:采用分词顺序优先且最长匹配原则“ilovechina”,假设分词结果 [i,ilove,lo,love,ch,china,lovechina ] 则输出[ilove,china]
错误输出:[i,lovechina], 原因:"ilove ">优先于 "lovechina"成词
错误输出:[i,love,china] 原因:“ilove” >“i” 遵循最长匹配原则 -
输入
字符串长度限制:0<length<256
词库长度限制: 1<length<100000
第一行输入待分词语句 “ilovechina”
第二行输入中文词库"i,love,china,ch,na,ve,lo,this,is,the,word" -
输出描述
按顺序输出分词结果 “i,love,china” -
示例1
输入
ilovechina
i,love,china,ch,na,ve,lo,this,is,the,word
输出
i,love,china -
示例2
输入
iat
i,love,china,ch,na,ve,lo,this,is,the,word,beauti,tiful,ful
输出
i,a,t -
示例3
输入
ilovechina,thewordisbeautiful
i,love,china,ch,na,ve,lo,this,is,the,word,beauti,tiful,ful
输出
i,love,china,the,word,is,beauti,ful
/*中文分词模拟器*/
#include <iostream>
#include <bits/stdc++.h>
using namespace std;
int main()
{
string str;
set<string>dic;
string d,temp;
getline(cin,str);
getline(cin,d);
for(int i=0;i<d.size();)
{
while(d[i]!=','&&i<d.size())
{
i++;
}
temp=d.substr(0,i);
dic.emplace(temp);
d.erase(0,i+1);
i=0;
}
string ans="";
int first=0,last=str.size();
while(first!=str.size())
{
if(str[first]==','||str[first]=='.')
{
ans.erase(ans.end()-1);
ans+=str[first];
first++;
}
else if(dic.find(str.substr(first,last-first))!=dic.end()||(last-first==1))
{
ans+=str.substr(first,last-first);
ans+=",";
first=last;
last=str.size();
}
else last--;
}//核心部分
for(int i=0;i<ans.size();)
{
if(ans[i]=='\''&&ans[i-1]==','&&ans[i+1]==',')
{
ans.erase(i-1,1);
ans.erase(i,1);
}
else i++;
}//单个分号是否单个输出
ans.erase(ans.end()-1);
cout<<ans<<endl;
return 0;
}
不确定带分号的单词未查询到时是否需要单个输出分号,补充注释处循环。
核心部分为从后往前检测,
当[first,last)子串匹配到字典可查单词时,加入输出队列,
未匹配到时last–,
[first,last)长度为1时,直接加入输出队列;