千万级巨型汉语词库分享

尼古拉.王.泽

于 2019-11-14 20:12:25 发布

阅读量948

点赞数

原文链接：http://www.hankcs.com/nlp/corpus/tens-of-millions-of-giant-chinese-word-library-share.html

版权

公式：
算法+语料≈NLP

目录
举个例子
四十万汉语大词库.txt
自然语言处理及计算语言学相关术语.txt
金融专业相关词.txt
新亚洲人名库.txt
政府机关团体机构大全【官方推荐】.txt
一些奇葩词库
下载地址
版权

算法+语料≈NLP
这是一个六千万词汇量的分类词库，做HanLP这么久，我逐渐体会到，算法无法解决所有问题，词库也非常重要。通常一个算法可以解决80%的问题，剩下的20%无论怎么调节优化，都是拆东墙补西墙。比如上次我提到的“区人保”被HMM人名识别模块误命中的例子，这个词让HMM来看，“区”作为姓氏，“人”“保”作为名字的二三字的确非常有可能，但是正常人都不会取这个名字。要是我把“人”“保”这两个字的频度降低或删除的话，“袭人”“王保全”这些名字又无法识别。

本来博客“自然语言处理”分类下就有“语料库”这一小类，不过一直没有分享什么，这次分享一个6千万词汇的巨型汉语词库。

汉语词典一览.png

目录
光目录就十分庞大，只贴出目录的一部分：

中国海洋大学青岛学院名人录.txt
中国海诚.txt
中国淡水鱼类名称.txt
中国烟名大全.txt
中国烟草名词.txt
中国理学总词库.txt
中国画专业词库.txt
中国疗养院名录.txt
中国的世界文化遗产名录.txt
中国相声师承关系族谱.txt
中国石化五建分包名单.txt
中国石油西北销售公司词库.txt
中国神仙表.txt
中国种子植物科属.txt
中国种子植物科属词典.txt
中国种子植物科属词典1.1.txt
中国科学技术大学.txt
中国科学技术大学【校园词库】.txt
中国科学院海洋研究所人名录.txt
中国科学院院士名.txt
中国移动 151.txt
中国移动专用词库.txt
中国移动业务专用.txt
中国移动安徽有限公司.txt
中国移动福建公司员工花名册.txt
中国网络作家.txt
中国职业名称大全.txt
中国联通福建分公司客服中心专用.txt
中国自唱歌曲.txt
中国自然保护区.txt
中国航油.txt
中国艺术家（音乐理论、表演类）.txt
中国营口论坛－营口地方话词库.txt
中国著名演奏家.txt
中国观鸟年报-中国鸟类名录3.0.txt
中国计量学院.txt
中国象棋.txt
中国象棋常用词汇.txt
中国象棋红方走法大全.txt
中国财税管理咨询网.txt
中国近代历史名人.txt
中国野鸟名录.txt
中国钢厂名称库.txt
中国铁路名词.txt
中国银行.txt
中国银行快速录入.txt
中国音乐学院音乐考级山东考区人名2010年.txt
中国音乐文化词库.txt
中国风景名胜.txt
中国高等教育名录数据库.txt
中国高等院校（大学）大全【官方推荐】.txt

全部目录请下载：千万级巨型汉语词库【目录】.zip

举个例子
推荐一些优秀的词库，比如：

四十万汉语大词库.txt
吖吖
吖啶
阿Q正传
阿阿
阿八
阿巴拉契亚山脉
阿爸
阿傍
阿谤
阿保
阿保之功
阿保之劳
阿本郎
阿鼻
阿鼻地狱
阿鼻鬼
阿鼻叫唤
阿鼻狱
阿比
阿比让
阿辟
阿避
阿柄
阿炳
阿波罗
阿波罗计划
阿伯
阿步干
阿茶
阿谄
阿昌族
阿叱
阿閦
阿从
阿达
阿大
阿呆
阿党
阿党比周
阿党相为
阿的
阿的平
阿等
阿弟
阿殿
阿爹
阿斗
阿阇
阿阇梨
自然语言处理及计算语言学相关术语.txt
隐式马可夫模型
阶层结构层次结构
单词句
同形异义词
同音异义词
同音词
同音异义
同部位音的
子句
人机界面
上位词
超文件超文本
下位词
主从结构的
直接成份
讯息为本的格位语法
成语熟语
特异性
施为性
直接成份
祈使句
蕴含谓词
含意
标引的
间接宾语
间接言谈行动间接言语行为
归纳推理
推理机器
不定词不定式
中缀
屈折变化
屈折词缀
资讯撷取
资讯处理信息处理
资讯检索
资讯理论信息论
固有特征
继承
继承
继承阶层继承层次
属性继承
语法天生假说
中插
里里外外演算法
体现
工具格
集成句法剖析程式
自然语言处理及计算语言学相关术语.txt.png

金融专业相关词.txt
金融专业相关词.txt.png

安全投资原则
安全系数
安全性
安全钥匙
安全运作
安全责任
安泰集团
安泰科技
安泰授信有限公司
安田信托
安田信托银行
安徒生童话精选
安慰信
安慰信函
安新私人銀行有限
安信信托
安阳钢铁
安永
安永会计师事务
安永会计师事务所
安源股份
安装费
氨基酸序列
鞍钢股份
按百分率
按百分率收取
按百分率收取的费
按镑收费额
按保密专利申请处理
按比例
按比例分配
按比例分摊
按成本
按成本计价
按成本计算
按当时价格计算
按当时市价计算
按法律规定
按份共有
按付款当日价格
按付款当日价格计
按固定价格计算
按固定价格计算的
按固定市价计算
按貨幣計算
按级别攀升
按计划
这个做领域词库比较好。

新亚洲人名库.txt
地名库.txt.png

蔡碧虹
蔡碧野
蔡碧瑜
蔡斌
蔡冰川
蔡炳兴
蔡昌彬
蔡长丰
蔡长志
蔡常珍
蔡超超
蔡成波
蔡成香
蔡春英
蔡淳
蔡淳佳
蔡翠玲
蔡翠妮
蔡戴群
蔡德文
蔡德正
蔡东河
蔡冬梅
蔡笃强
蔡方燕
蔡飞英
蔡妃
蔡菲
蔡枫华
这个做人名识别比较好。

政府机关团体机构大全【官方推荐】.txt
命名实体.txt.png

质量技术监督局
纪律检查委员会
机关事务管理局
国家知识产权局
最高人民检察院
河北教育考试院
国家外汇管理局
人民政府办公厅
计划生育服务站
科学技术委员会
中华全国总工会
北京市人民政府
国家烟草专卖局
长江水利委员会
黄河水利委员会
市中级人民法院
河北省人民政府
市政工程管理处
环境卫生管理处
社区居民委员会
四川石油管理局
工业园区管委会
黑龙江省教育厅
华北石油管理局
中国美术家协会
市政管理委员会
哈尔滨市公安局
机动车辆管理所
辽宁省人民政府
这个做机构实体识别比较好。