人民日报1998年中文标注语料库及读取代码

最新推荐文章于 2021-03-21 15:30:33 发布
最新推荐文章于 2021-03-21 15:30:33 发布
阅读量3.4k 收藏 4
点赞数
分类专栏： 语言文字 文章标签： string exception list null class 语言

人民日报 1998 年中文标注语料库及读取代码
代码作者：肖波
语料库：北京大学计算语言学研究所和富士通研究开发中心有限公司
PFR人民日报标注语料库(版本1.0，下面简称PFR语料库)是在得到人民日报社新闻信息中心许可的条件下，以1998年人民日报语料为对象，由北京大学计算语言学研究所和富士通研究开发中心有限公司共同制作的标注语料库。该语料库对600多万字节的中文文章进行了分词及词性标注，其被作为原始数据应用于大量的研究和论文中。
由于该语料库是以文本形式提供的，本文给出了读取该语料库的C#代码，供网友参考，代码中用到了一些公共的类，如CRegx,CFile等位于KTDictSeg组件中，可以到我的另一篇文章《KTDictSeg 一种简单快速准确的中文分词方法 》中下载。

 

调用示例


 using  System;
 using  System.Collections;
 using  System.Collections.Generic;
 using  System.Text;
 using  KTDictSeg;
 using  General;
 
 namespace  MachineLeaning
   {
      class  T_Word
        {
          public  String Word;  // 单词
          public  int  POS;   // 词性
          public  long  Freq;    // 词频  
     } ;
 
       /**/ ///  <summary>
      ///  1998年人民日报标注预料库的提取
      ///  </summary>
      class  People1998
        {
           Private Members #region  Private Members
          static  Hashtable m_WordTbl  =  new  Hashtable();  // 单词表
 
           /**/ ///  <summary>
          ///  将字符串类型的词性转换为位域型的词性变量
          ///  </summary>
          ///  <param name="strPOS"> 字符串类型的词性标注 </param>
          ///  <returns> 位域型词性标注 </returns>
          static  private  T_POS GetPosFromString(String strPOS)
            {
             strPOS  =  strPOS.Trim().ToLower();
 
              switch (strPOS)
                {
                  case  " ag " :
                  case  " ad " :
                  case  " an " :
                  case  " a " :     //     形容词 形语素
                      return  T_POS.POS_D_A;
 
                  case  " bg " :
                  case  " b " :     //     区别词 区别语素
                      return  T_POS.POS_D_B;
 
                  case  " c " :     //     连词 连语素
                      return  T_POS.POS_D_C;
 
                  case  " dg " :
                  case  " d " :     //     副词 副语素
                      return  T_POS.POS_D_D;
 
                  case  " e " :     //     叹词 叹语素
                      return  T_POS.POS_D_E;
 
                  case  " f " :     //     方位词 方位语素
                      return  T_POS.POS_D_F;
 
                  case  " i " :     //     成语
                      return  T_POS.POS_D_I;
 
                  case  " j " :
                  case  " l " :     //     习语
                      return  T_POS.POS_D_L;
 
                  case  " mg " :
                  case  " m " :     //     数词 数语素
                      return  T_POS.POS_A_M;
 
                  case  " mq " :    //     数量词
                      return  T_POS.POS_D_MQ;
 
                  case  " na " :
                  case  " ng " :
                  case  " n " :     //     名词 名语素
                      return  T_POS.POS_D_N;
 
                  case  " o " :     //     拟声词
                      return  T_POS.POS_D_O;
 
                  case  " p " :     //     介词
                      return  T_POS.POS_D_P;
 
                  case  " q " :     //     量词 量语素
                      return  T_POS.POS_A_Q;
 
                  case  " rg " :
                  case  " r " :     //     代词 代语素
                      return  T_POS.POS_D_R;
 
                  case  " s " :     //     处所词
                      return  T_POS.POS_D_S;
 
                  case  " tg " :
                  case  " t " :     //     时间词
                      return  T_POS.POS_D_T;
 
                  case  " u " :     //     助词 助语素
                      return  T_POS.POS_D_U;
 
                  case  " vg " :
                  case  " vn " :
                  case  " vd " :
                  case  " vv " :
                  case  " v " :     //     动词 动语素
                      return  T_POS.POS_D_V;
 
                  case  " w " :     //     标点符号
                      return  T_POS.POS_D_W;
 
                  case  " x " :     //     非语素字
                      return  T_POS.POS_D_X;
 
                  case  " yg " :
                  case  " y " :     //     语气词 语气语素
                      return  T_POS.POS_D_Y;
 
                  case  " z " :     //     状态词
                      return  T_POS.POS_D_Z;
 
                  case  " nr " : //     人名
                      return  T_POS.POS_A_NR;
 
                  case  " ns " : //     地名
                      return  T_POS.POS_A_NS;
 
                  case  " nt " : //     机构团体
                      return  T_POS.POS_A_NT;
 
                  case  " nx " : //     外文字符
                      return  T_POS.POS_A_NX;
 
                  case  " nz " : //     其他专名
                      return  T_POS.POS_A_NZ;
 
                  case  " h " :     //     前接成分
                      return  T_POS.POS_D_H;
 
                  case  " k " :     //     后接成分
                      return  T_POS.POS_D_K;
 
                  case  " un " : //   未知词性
                      return  T_POS.POS_UNK;
 
                  default :
                      return  T_POS.POS_UNK;
                     
             }
 
         }
 
           /**/ ///  <summary>
          ///  将一个单词插入单词表
          ///  </summary>
          ///  <param name="word"> 单词 </param>
          ///  <param name="strPOS"> 词性 </param>
          static  private  void  InsertOneWordToTbl(String word, String strPOS)
            {
              if  (word  ==  null  ||  strPOS  ==  null )
                {
                  return ;
             }
 
             word  =  word.Trim();
              if  (word  ==  "" )
                {
                  return ;
             }
 
             T_POS tPOS  =  GetPosFromString(strPOS);
 
             T_Word tWord  =  (T_Word)m_WordTbl[word];
 
              if  (tWord  ==  null )
                {
                 tWord  =  new  T_Word();
                 tWord.Freq  =  0 ;
                 tWord.POS  =  0 ;
                 tWord.Word  =  word;
                 m_WordTbl[word]  =  tWord;
             }
 
             tWord.Freq ++ ;
             tWord.POS  |=  ( int )tPOS;
         }
 
 
           /**/ ///  <summary>
          ///  删除文本中每句前面的时间
          ///  </summary>
          ///  <param name="text"></param>
          ///  <returns></returns>
          static  private  String DeleteDate(String text)
            {
              return  CRegex.Replace(text,  @" 1998/d+-/d+-/d+-/d+///w " ,  "" ,  true );
         }
 
           /**/ ///  <summary>
          ///  从文件载入到字符串中
          ///  </summary>
          ///  <param name="fileName"></param>
          ///  <returns></returns>
          static  private  String LoadFromFile(String fileName)
            {
              return  CFile.ReadFileToString(fileName,  " GB2312 " );
         }
 
           /**/ ///  <summary>
          ///  从字符串读入到单词表中
          ///  </summary>
          ///  <param name="text"></param>
          static  private  void  ReadWordFromString(String text)
            {
             ArrayList strs  =  new  ArrayList();
             CRegex.GetMatchStrings(text,  @" (/w+)/s*///s*([a-zA-Z]{1,2}) " ,  true ,  ref  strs);
 
             String word  =  "" ;
 
              for  ( int  i  =  0 ; i  <  strs.Count; i ++ )
                {
                  if  (i  %  2  ==  0 )
                    {
                     word  =  (String)strs[i];
                 }
                  else
                    {
                     InsertOneWordToTbl(word, (String)strs[i]);
                 }
             }
         }
 
          #endregion
 
           Public Members #region  Public Members
 
           /**/ ///  <summary>
          ///  将预料库中的单词和词性标注载入到单词表中
          ///  </summary>
          ///  <param name="fileName"> 人民日报1998年标注预料库文件 </param>
          static  public  void  Load(String fileName)
            {
             String text  =  LoadFromFile(fileName);
 
             text  =  DeleteDate(text);
 
             ReadWordFromString(text);
         }
 
           /**/ ///  <summary>
          ///  获取某个单词的属性
          ///  </summary>
          ///  <param name="word"> 单词 </param>
          ///  <returns></returns>
          static  public  T_Word GetWordAttribute(String word)
            {
              return  (T_Word)m_WordTbl[word];
         }
 
           /**/ ///  <summary>
          ///  获取所有单词列表
          ///  </summary>
          ///  <returns> 单词列表 </returns>
          static  public  List < T_Word >  GetWordList()
            {
             List < T_Word >  retWords  =  new  List < T_Word > ();
 
              foreach (String word  in  m_WordTbl.Keys)
                {
                 retWords.Add((T_Word)m_WordTbl[word]);
             }
 
              return  retWords;
         }
 
 
          #endregion
 
 
     }
 }
               if  (openFileDialogDict.ShowDialog()  ==  DialogResult.OK)
                {
                  try
                    {
                     People1998.Load(openFileDialogDict.FileName);
                 }
                  catch (Exception e1)
                    {
                     CMsgBox.ShowErrorMessageBox(e1.Message);
                 }
             }

语料库下载地址
由于较大，分成5包下载

http://www.cnblogs.com/Files/eaglet/199801.part01.rar
http://www.cnblogs.com/Files/eaglet/199801.part02.rar
http://www.cnblogs.com/Files/eaglet/199801.part03.rar
http://www.cnblogs.com/Files/eaglet/199801.part04.rar
http://www.cnblogs.com/Files/eaglet/199801.part05.rar


本文来自CSDN博客，转自：http://blog.csdn.net/eaglet/archive/2007/09/10/1778995.aspx

foamflower
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
1998年人民日报语料库，词的最长，最短匹配 提取问题，
FREEDOM
03-08 3944
由于语料中包括 [中央/n 人民/n 广播/vn 电台/n]nt 此类词问题，可以选择最长词提取，也可以选择最短词提取 # -*- coding: utf-8 -*- import codecs wordfile=codecs.open("199801.txt",encoding="gbk") curpusfile=codecs.open("curpus.txt",'w'
pku98-人民日报分词语料1998年1月份
11-09
人民日报分词语料1998年1月份，包含训练和两份语料和汇总语料，可以自行训练和验证模型使用。
人民日报1998年1月中文标注语料库
11-11
人民日报标注语料库(版本1.0，下面简称PFR语料库)是在得到人民日报社新闻信息中心许可的条件下，以1998年人民日报语料为对象，由北京大学计算语言学研究所和富士通研究开发中心有限公司共同制作的标注语料库。该语料库对600多万字节的中文文章进行了分词及词性标注，其被作为原始数据应用于大量的研究和论文中。
1998年人民日报语料库全
05-03
1998年人民日报语料库全 可用于中文分词，词频统计，等自然语言处理领域
1998年1月-6月人民日报语料库
12-08
1998年1月-6月人民日报语料库，已做词性标记，适用于自然语言处理序列标注等任务，如命名实体识别等，里面包含6个月份
人民日报语料库（中文分词语料库）
09-08
《人民日报语料库（中文分词语料库）》是由北京大学开发的一个重要的中文语言资源，它主要包含1998年1月份《人民日报》的所有文本，这些文本经过了专业的词性标注处理，对于研究中文自然语言处理，特别是中文分词与...
人民日报2014年语料库
05-14
人民日报2014年语料库，2014.1.1至2014年1.23日人民日报语料库。
1998年人民日报POS标注语料
10-13
1998年人民日报词性标注语料，可用来进行分词，词性标注，命名实体识别工作。
人民日报语料库-原来的数据集更新积分
07-29
分词是中文文本处理的基础步骤，它将连续的汉字序列切分成一个个有意义的词语单元，如“人民日报”、“语料库”等。这一特性使得研究人员无需额外进行分词工作，可以直接利用处理过的数据进行后续分析，如词频统计、...
北大中文《人民日报》199801-199806数据集.rar
11-03
PFR人民日报标注语料库(版本1.0，下面简称PFR语料库)是在得到人民日报社新闻信息中心许可的条件下，以1998年人民日报语料为对象，由北京大学计算语言学研究所和富士通研究开发中心有限公司共同制作的标注语料库。为了促进中文信息处理研究的发展，他们三方计划公开PFR语料库。作为公开的前期工作，从4月3日起，在他们三方的主页上免费公开PFR语料库1月份的语料，欢迎大家下载。PFR语料库的制作规范参阅《现代汉语语料库加工――词语切分与词性标注规范》。如果您在研究或论文工作中使用PFR语料库，请注明来源
人民日报2014语料.zip
03-16
2014年的人民日报数据，总共有28万行，可直接做词性标注训练使用，处理后也可以做实体识别模型训练用。
1998年人民日报分词语料
10-06
最权威的中文文本分词语料 可用于文本分词 分词语句达20万句
分词词库_词性人民日报199801.txt
04-29
分词词库_词性人民日报199801.txt
人民日报2014语料库 自然语言处理训练集
12-01
这份2014年的语料库涵盖了1998年1月至6月及2014年的文章，数据量充足，时间跨度较大，能够反映出语言发展的动态变化，为模型的训练提供多样性和稳定性。 词性标注（Part-of-Speech Tagging, POS）是NLP的基础任务，...
语料库
qq_39950973的博客
03-21 768
语料库 语料库作为自然语言处理领域中的数据集，使我们教机器理解语言不可或缺的习题集。在这一节中，我们来了解一下中文处理中的常见语料库，以及语料库建设的话题。 中文分词语料库 中文分词语料库指的是，由人工正确切分后的句子集合。 词性标注语料库 指的是切分并为每个词语指定一个词性的预料。总之，我们要教机器干什么，我们就得给机器示范什么。依然以《人民日报》语料库为例，1998年的《人民日报》一共含有43种词性，这个集合称作词性标注集。 命名实体识别语料库 这种语料库人工标注了文本内部制作者关心的实体名词以及实体类
北大人民日报语料库98年1月
08-16
北大人民日报语料库98年1月，分词研究用
面向微博文本的情绪标注语料库构建
02-22
文本情绪分析研究近年来发展迅速，但相关的中文情绪语料库，特别是面向微博文本的语料库构建尚不完善。为了对微博文本情绪表达特点进行分析以及对情绪分析算法性能进行评估，该文在对微博文本情绪表达特点进行深入...
英文词性标注语料库
08-02
英文分词语料库，共有198796行，每个单词都有词性标注，对句话的结束都有句号，便于处理。覆盖大部分主流行业的语料。 例如： Newsweek/NNP ,/, trying/VBG to/TO keep/VB pace/NN with/IN rival/JJ Time/NNP ...
bert模型对语料库预处理的代码
最新发布
04-04
BERT模型对语料库预处理的代码主要包括以下几个步骤： 1. 将原始语料库转化为BERT模型能够处理的格式 2. 对输入文本进行分词 3. 添加特殊标记，如[CLS]、[SEP]等 4. 对句子进行padding，使其长度相同 5. 构建输入的特征向量 下面是一个简单的BERT模型对语料库预处理的代码示例： ```python import torch from transformers import BertTokenizer from torch.utils.data import TensorDataset, DataLoader, RandomSampler, SequentialSampler # 加载BERT分词器 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # 加载数据集 sentences = ["This is the first sentence.", "This is the second sentence."] labels = [0, 1] # 对文本进行分词和添加特殊标记 input_ids = [] for sentence in sentences: encoded_sent = tokenizer.encode(sentence, add_special_tokens=True) input_ids.append(encoded_sent) # 对句子进行padding MAX_LEN = 64 input_ids = torch.tensor([i + [0]*(MAX_LEN-len(i)) for i in input_ids]) # 构建attention masks attention_masks = [] for sent in input_ids: att_mask = [int(token_id > 0) for token_id in sent] attention_masks.append(att_mask) # 构建数据集 dataset = TensorDataset(input_ids, attention_masks, torch.tensor(labels)) # 构建数据加载器 batch_size = 32 dataloader = DataLoader(dataset, sampler=RandomSampler(dataset), batch_size=batch_size) ``` 以上代码中，我们首先加载了BERT分词器，然后对输入文本进行分词和特殊标记的添加，接着对句子进行padding，最后构建了输入特征向量和数据加载器。这样，我们就可以将预处理后的数据输入到BERT模型中进行训练或推理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值