自然语言处理语言资源项目

最新推荐文章于 2024-08-09 07:36:25 发布

「已注销」

最新推荐文章于 2024-08-09 07:36:25 发布

阅读量1.3k

点赞数 3

分类专栏：语言资源文章标签：语言资源词库词向量语料库自然语言处理

本文链接：https://blog.csdn.net/lhy2014/article/details/82961186

版权

该项目通过爬虫收集并处理公开的web信息，生成词汇知识库、领域语料和预训练词向量，适用于自然语言处理任务。资源在GitHub及百度网盘分享。

摘要由CSDN通过智能技术生成

项目地址：https://github.com/liuhuanyong/LanguageResources
致力于利用web公开信息,采用爬虫脚本,加工处理形成语言资源包括词汇知识库,领域语料等语言资源,该资源可用于自然语言处理任务.
1、　corpus_resources.py:词库，包括：

        name:人民日报语料
        link:https://pan.baidu.com/s/1_E2YA7u61s_ZSSFV0IrHJA
        pwd:ux12
        desc:人民日报199801语料
        name:领域小说文本语料
        link:https://pan.baidu.com/s/1JC3UyOu8PuJrnn_JUyF9UQ
        pwd:bguf
        desc:13个领域的小说文本集合，5000+小说文本
        name:字幕文本语料
        link:https://pan.baidu.com/s/19BI81W7rFwvLKEjVBPXaUA
        pwd:mpfz
        desc:基于字幕网抓取，70W字幕文本语料
        name:段子文本语料
        link:https://pan.baidu.com/s/1go84Pt8O-AHJJOgJhkG89Q
        pwd:eju6
        desc:基于内涵段子等短文本网站抓取，约50W
        name:歌词文本语料
        link:https://pan.baidu.com/s/1IOCH9EfZInTdI_GvnuedJA
        pwd:nq69
        desc:基于歌词网站抓取，歌词数量约20W

2 word_resources.py:领域语料
包括ÿ