使用C#改写Peter Norvig的Spelling Corrector

开发工具：

Visual Studio v2010

.NET Framework 4 Client Profile

版本历史：

V1.01    2011年06月16日

• 将字典结构由Dictionary改为SortedDictionary，提升性能。

V1.00    2011年06月15日

• 完成正式版。可应用于拉丁语、西里尔语和希腊语的拼写检查。

参考资料：

How to Write a Spelling Corrector

Word frequency lists and dictionary from the Corpus of Contemporary American English 

下载地址：

SpellCorrector.zip

源代码：

SpellCorrector.cs

/* ---------------------------------------------------------- 文件名称：SpellCorrector.cs 作者：秦建辉 MSN：splashcn@msn.com QQ：36748897 版本历史： V1.01 2011年06月16日 将字典结构由Dictionary改为SortedDictionary，提升性能。 V1.00 2011年06月15日 完成正式版。可应用于拉丁语、西里尔语和希腊语的拼写检查。 参考资料： http://norvig.com/spell-correct.html http://www.wordfrequency.info ------------------------------------------------------------ */ using System; using System.Collections.Generic; using System.Text; using System.IO; namespace Splash { /// <summary> /// 使用C#改写Peter Norvig的Spelling Corrector /// </summary> public class SpellCorrector { /// <summary> /// 语言字母表，默认为英语字母表 /// </summary> private readonly String alphabet = "abcdefghijklmnopqrstuvwxyz"; /// <summary> /// 带有频率信息的词汇表 /// key：单词 /// value：单词序号（序号越小，频率越高） /// </summary> private SortedDictionary<String, Int32> dictionary; /// <summary> /// 构造函数：确定语言字母表 /// </summary> /// <param name="langAlphabet">语言字母表</param> public SpellCorrector(String langAlphabet = null) { if (!String.IsNullOrEmpty(langAlphabet)) { // 设置语言字母表 String LowercaseAlphabet = langAlphabet.ToLower(); // 转换为小写字母形式 StringBuilder sb = new StringBuilder(LowercaseAlphabet.Length); for (Int32 i = 0; i < LowercaseAlphabet.Length; i++) { // 去掉重复的字母 Char Letter = LowercaseAlphabet[i]; if (LowercaseAlphabet.IndexOf(Letter) == i) { // 该字符第一次出现 sb.Append(Letter); } } alphabet = sb.ToString(); } // 定义语言词汇表 dictionary = new SortedDictionary<String, Int32>(); } /// <summary> /// 载入词汇表 /// </summary> /// <param name="langGlossaryFile">基于词频排序的词汇表</param> /// <returns>单词总数</returns> /// <remarks> /// 词汇表文件格式： /// UTF8编码 /// 每行一个单词 /// 高词频优先 /// </remarks> public Int32 Load(String langGlossaryFile) { using (StreamReader sr = new StreamReader(langGlossaryFile, Encoding.UTF8)) { // 清空单词表 dictionary.Clear(); // 读入词汇表 Int32 Count = 0; while (true) { // 读取数据行 String Source = sr.ReadLine(); if (Source == null) break; // 将单词加入词汇表 String LowercaseSource = Source.Trim().ToLower(); // 转换为小写字母形式 if (LowercaseSource != String.Empty) { if (!dictionary.ContainsKey(LowercaseSource)) { // 自动剔除重复的单词 dictionary.Add(LowercaseSource, Count++); } } } return Count; } } /// <summary> /// 对单词进行纠错 /// </summary> /// <param name="word">要进行纠错的单词</param> /// <returns>候选的单词列表</returns> public List<String> Correct(String word) { // 参数检测 if (word == null) return null; // 将单词转换为小写字母形式 String LowercaseWord = word.Trim().ToLower(); if (LowercaseWord == String.Empty) return null; // 如果单词长度为1，不进行纠错 if (LowercaseWord.Length == 1) { if (alphabet.Contains(LowercaseWord)) return new List<String>() { LowercaseWord }; else return null; } // 单词已在字典中 if (dictionary.ContainsKey(LowercaseWord)) { return new List<String>() { LowercaseWord }; } // 错1个字符的情况 List<String> Candidates = null; // 候选列表 List<String> Derivatives = Edits(LowercaseWord); // 生成纠错词列表 Known(Derivatives, ref Candidates); // 筛选纠错词列表，只保留字典中的有效单词 if(Candidates.Count == 0) { // 错2个字符的情况 foreach (String s in Derivatives) { List<String> SubDerivatives = Edits(s); Known(SubDerivatives, ref Candidates); } } if(Candidates.Count > 0) { // 根据单词频率排序，高频词优先 Candidates.Sort(Comparison); return Candidates; } return null; } /// <summary> /// 根据4种错误情况，生成所有可能的纠错词列表 /// </summary> /// <param name="word"></param> /// <returns></returns> private List<String> Edits(String word) { List<String> Derivatives = new List<String>(); Int32 Length = word.Length; // 多输字母 for(Int32 i = 0; i < Length; i++) { // deletions Derivatives.Add(word.Substring(0, i) + word.Substring(i+1)); // 去掉字母 } // 字母错位 for(Int32 i = 0; i < Length - 1; i++) { // transposition Derivatives.Add(word.Substring(0,i) + word[i+1] + word[i] + word.Substring(i+2)); // 交换字母 } foreach(Char Letter in alphabet) { // 输错字母 for(Int32 i = 0; i < Length; i++) { // alterations Derivatives.Add(word.Substring(0, i) + Letter + word.Substring(i+1)); // 替换字母 } // 漏输字母 for(Int32 i = 0; i < Length + 1; i++) { // insertion Derivatives.Add(word.Substring(0, i) + Letter + word.Substring(i)); // 插入字母 } } return Derivatives; } /// <summary> /// 对纠错词列表进行筛选，剔除不在字典中的词 /// </summary> /// <param name="derivatives">要进行筛选的纠错词列表</param> /// <param name="candidates">筛选后的有效单词列表</param> private void Known(List<String> derivatives, ref List<String> candidates) { if (candidates == null) candidates = new List<String>(); foreach(String s in derivatives) { // 去掉重复的字符串 if(!candidates.Contains(s)) { if(dictionary.ContainsKey(s)) { candidates.Add(s); } } } return; } /// <summary> /// 比较函数：单词频率高的排前面 /// </summary> /// <param name="x">源串</param> /// <param name="y">目标串</param> /// <returns> /// -1：x的频率比y高 /// 0：x的频率与y相等 /// 1：x的频率比y低 /// </returns> private Int32 Comparison(String x, String y) { // 符号函数 return Math.Sign(dictionary[x] - dictionary[y]); } } }