人民日报1998年中文标注语料库及读取代码

人民日报 1998 年中文标注语料库及读取代码
代码作者:肖波
语料库:北京大学计算语言学研究所和富士通研究开发中心有限公司
PFR人民日报标注语料库(版本1.0,下面简称PFR语料库)是在得到人民日报社新闻信息中心许可的条件下,以1998年人民日报语料为对象,由北京大学计算语言学研究所和富士通研究开发中心有限公司共同制作的标注语料库。该语料库对600多万字节的中文文章进行了分词及词性标注,其被作为原始数据应用于大量的研究和论文中。
由于该语料库是以文本形式提供的,本文给出了读取该语料库的C#代码,供网友参考,代码中用到了一些公共的类,如CRegx,CFile等位于KTDictSeg组件中,可以到我的另一篇文章《 KTDictSeg 一种简单快速准确的中文分词方法 》中下载。



调用示例

 

using  System;
using  System.Collections;
using  System.Collections.Generic;
using  System.Text;
using  KTDictSeg;
using  General;

namespace  MachineLeaning
{
    
class  T_Word
    
{
        
public  String Word;  // 单词
         public  int  POS;   // 词性
         public  long  Freq;    // 词频  
    }
;

    
///  <summary>
    
///  1998年人民日报标注预料库的提取
    
///  </summary>

     class  People1998
    
{
        
Private Members

        
Public Members


    }

}

 

             if  (openFileDialogDict.ShowDialog()  ==  DialogResult.OK)
            
{
                
try
                
{
                    People1998.Load(openFileDialogDict.FileName);
                }

                
catch (Exception e1)
                
{
                    CMsgBox.ShowErrorMessageBox(e1.Message);
                }

            }


语料库下载地址
由于较大,分成5包下载

评论 3 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

eaglet

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值