C#中文分词

最新推荐文章于 2020-05-27 20:52:40 发布
最新推荐文章于 2020-05-27 20:52:40 发布
阅读量3.1k 收藏 4
点赞数
分类专栏： asp.net(C#) 文章标签： c# string encoding exception null object
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luxu001207/article/details/2596663
版权 
using System;

using System.IO;

using System.Text;

using System.Collections;

using System.Collections.Generic;

using System.Text.RegularExpressions;



/* 作者：卢楚风  个人网站：www.ccdodo.com

 * 本程序仅供学习参考使用，欢迎热衷与搜索引擎技术与中文分词技术的同仁一起讨论

 *  需要下载源码(含词典)可到http://download.csdn.net/source/519252下载

 * 转载请保留此信息，谢谢！

 * 2008-6-28

---------------------------------------------------------*/

namespace Ccdodo.WordSpliter

{

    /// <summary>

    /// 分词类

    /// </summary>

    public class Spliter

    {

        #region 属性

        private static string SplitChar = " ";//分隔符

        #endregion

        //

        #region 数据缓存函数

        /// <summary>

        /// 数据缓存函数

        /// </summary>

        /// <param name="key">索引键</param>

        /// <param name="val">缓存的数据</param>

        private static void SetCache(string key, object val)

        {

            if (val == null)

                val = " ";

            System.Web.HttpContext.Current.Application.Lock();

            System.Web.HttpContext.Current.Application.Set(key,val);

            System.Web.HttpContext.Current.Application.UnLock();

        }



        /// <summary>

        /// 读取缓存

        /// </summary>

        /// <param name="mykey"></param>

        /// <returns></returns>

        private static object GetCache(string key)

        {

            return System.Web.HttpContext.Current.Application.Get(key);

        }

        #endregion

        //

        #region 读取文本

        private static SortedList ReadTxtFile(string FilePath)

        {

            if (GetCache("dict") == null)

            {

                Encoding encoding = Encoding.GetEncoding("utf-8");

                SortedList arrText = new SortedList();

                //

                try

                {

                    FilePath = System.Web.HttpContext.Current.Server.MapPath(FilePath);

                    if (!File.Exists(FilePath))

                    {

                        arrText.Add("0","文件" + FilePath + "不存在...");

                    }

                    else

                    {

                        StreamReader objReader = new StreamReader(FilePath, encoding);

                        string sLine = "";

                        //ArrayList arrText = new ArrayList();



                        while (sLine != null)

                        {

                            sLine = objReader.ReadLine();

                            if (sLine != null)

                                arrText.Add(sLine, sLine);

                        }

                        //

                        objReader.Close();

                        objReader.Dispose();

                    }

                }

                catch (Exception) { }

                SetCache("dict", arrText);

                //return (string[])arrText.ToArray(typeof(string));

            }

            return (SortedList)GetCache("dict");

        }

        #endregion

        //

        #region 载入词典

        private static SortedList LoadDict

        {

            get { return ReadTxtFile("~/dict/default.dic"); }

        }

        #endregion

        //

        #region 正则检测

        private static bool IsMatch(string str, string reg)

        {

            return new Regex(reg).IsMatch(str);

        }

        #endregion

        //

        #region 首先格式化字符串(粗分)

        private static string FormatStr(string val)

        {

            string result = "";

            if (val == null || val == "")

                return "";

            //

            char[] CharList = val.ToCharArray();

            //

            string Spc = SplitChar;//分隔符

            int StrLen = CharList.Length;

            int CharType = 0; //0-空白 1-英文 2-中文 3-符号

            //

            for (int i = 0; i < StrLen; i++)

            {

                string StrList = CharList[i].ToString();

                if (StrList == null || StrList == "")

                    continue;

                //

                if (CharList[i] < 0x81)

                {

                    #region

                    if (CharList[i] < 33)

                    {

                        if (CharType != 0 && StrList != "/n" && StrList != "/r")

                        {

                            result += " ";

                            CharType = 0;

                        }

                        continue;

                    }

                    else if (IsMatch(StrList, "[^0-9a-zA-Z@//.%#:///&_-]"))//排除这些字符

                    {

                        if (CharType == 0)

                            result += StrList;

                        else

                            result += Spc + StrList;

                        CharType = 3;

                    }

                    else

                    {

                        if (CharType == 2 || CharType == 3)

                        {

                            result += Spc + StrList;

                            CharType = 1;

                        }

                        else

                        {

                            if (IsMatch(StrList, "[@%#:]"))

                            {

                                result += StrList;

                                CharType = 3;

                            }

                            else

                            {

                                result += StrList;

                                CharType = 1;

                            }//end if No.4

                        }//end if No.3

                    }//end if No.2

                    #endregion

                }//if No.1

                else

                {

                    //如果上一个字符为非中文和非空格，则加一个空格

                    if (CharType != 0 && CharType != 2)

                        result += Spc;

                    //如果是中文标点符号

                    if (!IsMatch(StrList, "^[/u4e00-/u9fa5]+___FCKpd___0quot;))

                    {

                        if(CharType!=0)

                            result += Spc + StrList;

                        else

                            result += StrList;

                        CharType = 3;

                    }

                    else //中文

                    {

                        result += StrList;

                        CharType = 2;

                    }

                }

                //end if No.1



            }//exit for

            //

            return result;

        }

        #endregion

        //

        #region 分词

        /// <summary>

        /// 分词

        /// </summary>

        /// <param name="key">关键词</param>

        /// <returns></returns>

        private static ArrayList StringSpliter(string[] key)

        {

            ArrayList List = new ArrayList();

            try

            {

                SortedList dict = LoadDict;//载入词典

                //

                for (int i = 0; i < key.Length; i++)

                {

                    if (IsMatch(key[i], @"^(?!^/.$)([a-zA-Z0-9/./u4e00-/u9fa5]+)___FCKpd___0quot;)) //中文、英文、数字

                    {

                        if (IsMatch(key[i], "^[/u4e00-/u9fa5]+___FCKpd___0quot;))//如果是纯中文

                        {

                            //if (!dict.Contains(key[i].GetHashCode()))

                            //    List.Add(key[i]);

                            //

                            int keyLen = key[i].Length;

                            if (keyLen < 2)

                                continue;

                            else if (keyLen <=7)

                                List.Add(key[i]);

                            //

                            //开始分词

                            for (int x = 0; x < keyLen; x++)

                            {

                                //x：起始位置//y：结束位置

                                for (int y = x; y < keyLen; y++)

                                {

                                    string val = key[i].Substring(x, keyLen - y);

                                    if (val == null || val.Length < 2)

                                        break;

                                    else if (val.Length > 10)

                                        continue;

                                    if (dict.Contains(val))

                                        List.Add(val);

                                }

                                //

                            }

                            //

                        }

                        //else if (IsMatch(key[i], @"^([0-9]+(/.[0-9]+)*)|([a-zA-Z]+)___FCKpd___0quot;))//纯数字、纯英文

                        //{

                        //    List.Add(key[i]);

                        //}

                        else if (!IsMatch(key[i], @"^(/.*)___FCKpd___0quot;))//不全是小数点

                        {

                            List.Add(key[i]);

                        }

                        //else //中文、英文、数字的混合

                        //{

                        //    List.Add(key[i]);

                        //}

                        //

                    }

                }

            }

            catch (Exception) { }

            //

            return List;

            //return (string[])List.ToArray(typeof(string));

        }

        #endregion

        //

        #region 得到分词结果

        /// <summary>

        /// 得到分词结果

        /// </summary>

        /// <param name="key"></param>

        /// <returns></returns>

        public static string[] DoSplit(string key)

        {

            ArrayList KeyList = StringSpliter(FormatStr(key).Split(SplitChar.ToCharArray()));

            KeyList.Insert(0,key);

            //

            //去掉重复的关键词

            for (int i = 0; i < KeyList.Count; i++)

            {

                for (int j = 0; j < KeyList.Count; j++)

                {

                    if (KeyList[i].ToString() == KeyList[j].ToString())

                    {

                        if (i != j)

                        {

                            KeyList.RemoveAt(j);j--;

                        }

                    }

                    //

                }

            }

            return (string[])KeyList.ToArray(typeof(string));

        }

        #endregion

        //

    }

    //

}
Atai-Lu
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
C#编写的ChineseSplitter中文分词系统源代码
03-16
简介 ChineseSplitter中文分词系统集成了单字（一元切分）、双字（二元切分）、词义切分等分词方法。提供很好的权重计算办法。类结构 BaseSplitter（分词基类） │ ├─SingleSplitter（一元切分） │ ├─DoubleSplitter（二元切分） │ └─DefaultSplitter（词义切分）────NICTCLAS（中科院分词系统） KeywordsSort（关键字排序类） 不错的中文分词组件，带了语料库。
c# 分词jieba中文分词
HETONGDE的博客
06-27 680
开发者可以指定自定义的词典，以便包含jieba词库里没有的词。虽然jieba有新词识别能力，但是自行添加新词可以保证更高的正确率词典格式与主词典格式相同，即一行包含：词、词频（可省略）、词性（可省略），用空格隔开词频省略时，分词器将使用自动计算出的词频保证该词被分出如创新办 3 i云计算 5凱特琳 nz台中机器学习 3。
C# 中文分词算法(实现从文章中提取关键字算法)
热门推荐
I'm loving ' IT 追求心随意动
12-06 1万+
<br />using System;<br />using System.IO;<br />using System.Text;<br />using System.Collections;<br />using System.Collections.Generic;<br />using System.Text.RegularExpressions;<br />namespace LumkitCms.Utils<br />{<br />    /// <summary><br />    /// 分词类
中文分词技术
BananaTree
04-04 1899
转载自：http://blog.csdn.net/byxdaz/article/details/5815677 一、       为什么要进行中文分词？ 词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空格作为自然分界符的，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文信息处理的基础与关键。 Lucene中对中文的处理是基于自动切分的单字切分，或
C#实现中文分词——IKAnalyzerNet
今天怎么又下雨的博客
03-29 4110
项目源码：请别抢我闪刀姬 / 分词测试 前言 这个分词是前一段需要用时，在网上扒了好久，才找到的一个，而且年代久远，但是还能用，所以记录一下。 页面设计 界面方面上方一个richTextBox用来输入需要分词的数据，下方一个是“开始分词”按钮和其正下方的“简单分词输出”和“详细示例”下面的“较详细输出”。 代码实现部分 引用dll using IKAnalyzerNet; using IKAn...
C#汉字分词程序
11-23
C#汉字分词程序,正向最大匹配方法与逆向最大匹配方法均已经实现
C#中文分词源码
08-17
支持中文的分词源码，效果还不错，准确率、速度都合适
C# 中文分词 词性标注
01-19
C# 中文分词 词性标注
C#中文分词不完全版
04-14
C#中文分词不完全版，因为技术原因放不了完全版，见谅
中文分词c#
10-30
该程序是本人上学时做的一个小程序，主要用来解决中文分词
c# 中文分词 LUCENE IKAnalyzer
03-16
自己做的一个中文分词，可以用在MONO下。根据IKAnalyzer Java版本移植到C#。采用了Powercollection类库。
C#实现的中文分词程序
11-23
用键树实现对中文文本的分词处理，使用C#语言实现，希望能对大家有所帮助
C#中文分词 .NET直接引用版
04-04
直接把NICTCASA.DLL 添加引用 把DATA文件放入bin Debug Data目录即可 namespace Test1 { public partial class Form1 : Form { NICTCLAS nictclas; public Form1() { InitializeComponent(); try { nictclas = new NICTCLAS(); } catch (Exception ex) { MessageBox.Show(ex.Message); } } private void button1_Click(object sender, EventArgs e) { if (radioButton1.Checked) nictclas.OperateType = eOperateType.OnlySegment; else if (radioButton2.Checked) nictclas.OperateType = eOperateType.FirstTag; else if (radioButton3.Checked) nictclas.OperateType = eOperateType.SecondTag; if (radioButton4.Checked) nictclas.OutputFormat = eOutputFormat.PKU; else if (radioButton5.Checked) nictclas.OutputFormat = eOutputFormat._973; else if (radioButton6.Checked) nictclas.OutputFormat = eOutputFormat.XML; DateTime start = DateTime.Now; string result = ""; nictclas.ParagraphProcessing(textBox1.Text,ref result); DateTime finish = DateTime.Now; TimeSpan t = (TimeSpan)(finish - start); textBox3.Text = t.TotalMilliseconds.ToString() + "ms"; textBox2.Text = result; } private void textBox1_TextChanged(object sender, EventArgs e) { } private void textBox2_TextChanged(object sender, EventArgs e) { } }
中文分词，.NET写的
06-24
.NET写的中文分词组件， 内建词库，可直接使用，只有一个DLL
C# .Net 写的中文分词
10-31
C# .Net 写的中文分词 哈工大中文信息处理
C#分词算法
cxu123321的博客
05-27 1351
C#分词算法 分词算法的正向和逆向非常简单，设计思路可以参考这里: 中文分词入门之最大匹配法 我爱自然语言处理http://www.52nlp.cn/maximum-matching-method-of-chinese-word-segmentation 正向最大匹配，简单来说，就是分词的时候，每次读取最大长度，比如7个字。然后去词典看，有没有这个词，没有，就减少一个字，再去词典找有没有这个词。 如此循环，直到找到为止。然后继续从字符串读取7个字，再去词典匹配，如此循环。直到整个字符串...
中文分词ChineseAnalyzer.rar
07-31
中文分词 有两个dll,分词词库，可运行代码, 使用方法举例： private void button1_Click(object sender, EventArgs e) { StringBuilder sb = new StringBuilder(); sb.Remove(0, sb.Length); string t1 = ""; int i = 0; Analyzer analyzer = new Lucene.China.ChineseAnalyzer(); StringReader sr = new StringReader(richTextBox1.Text); TokenStream stream = analyzer.TokenStream(null, sr); long begin = System.DateTime.Now.Ticks; Token t = stream.Next(); while (t != null) { t1 = t.ToString(); //显示格式： (关键词,0,2) ，需要处理 t1 = t1.Replace("(",""); char[] separator = { ',' }; t1 = t1.Split(separator)[0]; sb.Append(i+":"+ t1 + "\r\n"); t = stream.Next(); i++; } richTextBox2.Text = sb.ToString(); long end = System.DateTime.Now.Ticks; //100毫微秒 int time = (int)((end - begin) / 10000); //ms richTextBox2.Text += "耗时" + (time) + "ms \r\n=================================\r\n"; }
c#中文分词类库 可用来做搜索引擎分词 准确率90% 支持Lucene.net
09-08
c#中文分词类库 可用来做搜索引擎分词 准确率90%，提供Lucene。net的支持
c# HMM实现中文分词
最新发布
10-29
C# HMM实现中文分词是一种基于隐马尔可夫模型的中文分词方法。在这种方法中，首先将待分词的文本转化为一个字符序列，然后使用隐马尔可夫模型对这个字符序列进行分词。具体来说，隐马尔可夫模型将每个字符视为一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值