哈工大LTP项目

最新推荐文章于 2023-06-29 11:57:04 发布
最新推荐文章于 2023-06-29 11:57:04 发布
阅读量5.7k 收藏
点赞数 3
分类专栏： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forever1dreamsxx/article/details/8242689
版权

来自哈工大官网：http://ir.hit.edu.cn/ltp/

Ltp: Language Technology Platform (下载源代码)

Introduction

语言技术平台（Language Technology Platform，LTP）是哈工大社会计算与信息检索研究中心历时十年开发的一整套中文语言处理系统。LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块（包括词法、句法、语义等6项中文处理核心技术），以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口，可视化工具，并且能够以网络服务（Web Service）的形式进行使用。

从2006年9月5日开始该平台对外免费共享目标代码，截止目前，已经有国内外400多家研究单位共享了LTP，也有国内外多家商业公司购买了LTP，用于实际的商业项目中。2010年12月获得中国中文信息学会颁发的行业最高奖项：“钱伟长中文信息处理科学技术奖”一等奖。

2011年6月1日，为了与业界同行共同研究和开发中文信息处理核心技术，我中心正式将LTP开源。

Table of contents

系统框架

LTP系统框架图如下所示：

ltp

功能模块

分词(CRFWordSeg)

  • 模型简介

    LTP的分词模块基于CRF模型进行训练和解码。CRF（Conditional Random Field，条件随机场）是Lafferty在2001年提出的一种典型的判别式模型。它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题。
    使用开源工具：CRF++(http://crfpp.sourceforge.net/)

  • 使用资源
    • 数据来源：1998年1-6月人民日报
    • 数据规模：1~6月数据作为训练集
  • 性能及效率
    • 性能：F1=97.4%
    • 效率：185KB/s

词性标注(PosTag)

  • 模型简介

    词性标注模块基于SVM模型进行训练和解码。SVM（Support Vector Machine，支持向量机）是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。
    使用开源工具：svmtools(http://www.lsi.upc.edu/~nlp/SVMTool/)

  • 使用资源
    • 数据来源：1998年1-6月人民日报
    • 数据规模：2-6月份数据进行训练（6百万词）、1月份数据进行测试
  • 性能及效率
    • 性能：整体准确率为97.4%，未登录词准确率为85.48%
    • 效率：43KB/s

命名实体识别(NER)

  • 模型简介

    NER（Named Entity Recognition, 命名实体识别）把命名实体识别的过程看作一个多分类的问题，使用最大熵模型来完成这一任务。
    使用开源工具：Maximum Entropy Modeling Toolkit for Python and C++

  • 使用资源
    • 数据来源：1998年1月份人民日报+6月份人民日报前10000句
    • 数据规模：1月份数据进行训练、6月份前10000句测试
  • 性能及效率
    • 性能：F1(overall)=92.25%
    • 效率：11KB/s

依存句法分析(GParser)

  • 模型简介

    GParser全称为Graph-Based Parser，即基于图模型的依存句法分析器。
    基于图的依存分析方法由McDonald首先提出，他将依存分析问题归结为在一个有向图中寻找最大生成树（Maximum Spanning Tree）的问题。边权重使用Online Learning算法学习获得，解码算法使用的是Eisner算法。

  • 使用资源
    • 数据来源：HIT-CDT
    • 数据规模：前8000句训练，8001-9000开发，后1000句测试
  • 性能及效率

    基于正确分词、自动词性标注(svmtool)

    • 性能：LAS=73.91%; UAS=78.23%
    • 效率：0.20KB/s

词义消歧(wsd)


 

语义角色标注(SRL)

  • 模型简介

    SRL（Semantic Role Labeling, 语义角色标注）是一种浅层的语义分析技术，它标注句子中某些短语为给定谓词的论元（语义角色）。SRL可以分为两个子任务，一是识别，即判断一个短语是否语义角色；其次是分类，即判断该短语属于哪一种语义角色。本模块将这两个任务合并，看成一个多元分类问题（非语义角色也属于一类，NULL）。同时，系统增加了一个后处理过程。
    使用开源工具：Maximum Entropy Modeling Toolkit for Python and C++

  • 使用资源
    • 数据来源：Chinese PropBank
    • 数据规模：22000句训练， 1700句开发，2500句测试
  • 性能及效率

    基于正确分词、自动词性标注、自动依存句法

    • 性能：F-Score = 77.15%
    • 效率：0.18KB/s

下载源代码

请先阅读LTP开源协议。

在线演示

语言技术平台的在线演示

编译及安装

LTP可运行于Windows以及Linux平台(已在Ubuntu, CentOS, Redhat平台下编译通过)

  • Windows

    • 安装Visual Studio(建议2008)。
    • 运行windows\win_project\vs2008\__ltp.sln打开工程，使用VS进行编译即可。
    • 解压模型文件ltp_data.zip。
    • 依赖boost的regex库(建议使用较旧版本的boost，如1.34.1, 1.37.1)

    Linux

    • Requirements:
      • gcc/g++(建议使用4.1)
      • gfortran
      • boost的regex库(建议使用较旧版本的boost，如1.34.1, 1.37.1)
    • 编译 
      $ ./configure #也可以使用--prefix选项指定安装路径
$ make
$ su
# make install

使用说明

  • LTP的使用以及详细API请参考LTP开源工具包中所附的《LTP使用文档v2.0.1》
  • 执行LTP时，需要保证输入的文件编码为gbk/gb2312;
  • ltp_data.zip中存放的是所有模块的模型文件。
  • 完整运行LTP需要机器配置较高（主要是内存消耗比较大），如果不具备充分的条件，建议使用Web Service访问LTP服务。

发表论文

未来工作

  • WSD(Word Sence Disambiguation, 词义消歧)模块开源
  • 分词模块升级，将支持领域词典扩展
  • 依存句法分析模块升级，效率将提升一倍左右

相关链接

更新历史

Copyright © Research Center for Social Computing and Information Retrieval 2001 - 2011
P.O.Box 321, HIT, P.R.China 150001
webmaster at ir dot hit dot edu dot cn

 

forever1dreamsxx
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LTP模型训练data，预训练模型
11-08
截止到2022.11.08pyltp模型的最新训练模型，可以直接load；截止到2022.11.08pyltp模型的最新训练模型，可以直接load；截止到2022.11.08pyltp模型的最新训练模型，可以直接load；
java实现采用LTP抽取图谱三元组
04-07 556
自然语言查询–>分词(word segmentation)–>意图识别(Intention Recognition)–>实体链指(Entity Linking)+关系识别(Relation Detection) -->查询语句拼装(Query Construction)–>返回结果选择(Answering Selection)语义分析：自动分析用户语句，提供语义分析服务。智能推荐：自动根据用户行为提供智能推荐服务。智能客服：自动完成用户与机器的智能客服服务。智能对话：自动完成用户与机器的智能对话。
ltp模型训练札记
chenghuang1645的博客
08-17 1065
训练命名实体模型： ./otner learn --model dish_ner --reference sample/ner/dish-train.ner --development sample/ner/dish-holdout.ner 命名实体分析语句： ./ltp_test -...
hanlp 训练模型_LTP 4.0！单模型完成6项自然语言处理任务
weixin_35674932的博客
12-06 435
来源|哈工大SCIR语言技术平台（Language Technology Platform, LTP）是哈工大社会计算与信息检索研究中心（HIT-SCIR）历时多年研发的一整套高效、高精度的中文自然语言处理开源基础技术平台。该平台集词法分析（分词、词性标注、命名实体识别）、句法分析（依存句法分析）和语义分析（语义角色标注、语义依存分析）等多项自然语言处理技术于一体。其中句法分析、语义分析等多项关键...
哈工大ltp模型文件(3.4.0)
03-04
哈工大ltp模型文件(3.4.0)
LTP简介
热门推荐
追求卓越,做到专业
01-08 1万+
语言技术平台（Language Technology Platform，LTP）是哈工大社会计算与信息检索研究中心历时十年研制的一整套开放中文自然语言处理系统。提供了一整套自底向上的丰富、高效、高精度的中文自然语言处理模块 （包括词法、句法、语义等5项中文处理核心技术）                               官网地址： http://ltp.ai/index.html ...
使用哈工大分词引擎LTP4.2.0使用本地模型
yilvyangguang520的博客
06-29 1043
使用哈工大分词引擎LTP4.2.0使用本地模型
【pyltp】Segmentor: Model not loaded
ranmaxli的博客
02-06 3487
将路径地址中 \ 符号 换成 / 即可 无法运行的路径地址：D:\Program Files\ltp-models\3.3.1\ltp-data-v3.3.1\ltp_data\ 这样就会报错 model not loaded 修改后成功运行的地址：D:/Program Files/ltp-models/3.3.1/ltp-data-v3.3.1/ltp_data/ ...
下载哈工大LTP模型失败的解决方法
hqc87v5的博客
03-04 1319
LTP
哈工大LTP模型
08-07
对哈工大ltp代码小结，通过整理汇总得到的几个模型代码
哈工大的ltp编译后文件.zip
06-02
ltp在应用到java中我们会遇到编译的问题，可能会因为版本等问题而编译失败，我这里将编译好的文件发出来，希望能够帮助到大家
哈工大LTP，动态链接库，Java，64bit
03-23
哈工大LTP，在Eclipse上编译所需要用到的动态链接库，（.lib和.dll、.exp）64位系统可用
哈工大ltp linux下编译好的whl文件直接可安装
07-13
如果是Ubuntu系统，请把m修改为mu即可，通过pip 安装，Linux不需要编译 pyltp-0.2.1-cp35-cp35m-linux_x86_64.whl
一个普通院校的数学系本科生做自然语言处理——我该坚持吗？
forever1dreamsxx--NLP
07-06 4226
一个普通二本院校的数学系的本科生，由于找工作原因自己学习了C/C++（主要平台是linux下的vi和windows下的VC++6.0），可能是自己学得还不错，后来大四第一学期找工作的时候，还找到了两个实习工资3000多的VC++开发的工作（在成都，加上这种普通文凭，所以觉得还不错），但是当时觉得自己还不错以为可以找到更好的，所以就继续找。     我本来以为自己已经彻底和数学无缘了，有时候想想自
自然语言处理和数据挖掘项目中的一些技术体会
forever1dreamsxx--NLP
10-25 3414
从事自然语言处理的工作快一年了，一直想写些东西，但自己学的太少一直不知道该从哪里开始下手，虽然现在还是很菜，但看着自己的项目即将完成，鼓起勇气写点东西，主要是自己在项目中遇到的一些问题。         这次做的这个项目，也是我工作的第一个项目，就是利用自然语言处理的分词、词性标注、句法分析，还有就是数据挖掘的一些东西。         主要实现的功能是，输入一句话，通过NLP的相关技术理解到
满意度调查行·知dr.pptx
04-25
满意度调查行·知dr.pptx
基于B2C的网上拍卖系统_秒杀与竞价.zip
04-25
基于B2C的网上拍卖系统主要用于帮助人们应用互联网方便快捷买到自己所中意的商品，并参与到秒杀与竞拍当中。 主要功能包括： 1.前台模块 （1）普通用户登录/注册。 （2）分类查看商品(普通商品与促销商品) （3）查看商品详细信息 （4）查看秒杀商品 （5）查看竞拍商品 （6）将商品加入购物车 （7)购买，结算功能 （8）留言 2.后台模块 （1）修改密码 (2)商品管理: -- 编辑/删除 -- 设置/取消促销 （3)秒杀商品：设置/取消秒杀 （4)竞拍商品：设置/取消竞拍 （5)订单管理：查看订单 （5)留言管理：查看/删除留言 项目访问路径: 前台：http://localhost:8080/sale 后台：http://localhost:8080/sale/user/adminlogin
分布式系统中Java后端开发技术及其应用实践.pdf
最新发布
04-25
分布式系统的核心思想是复杂计算任务的拆分与并行计算，可有效减少计算时间、节约算力成本。以分布式系统中Java后端开发技术的应用为主题，分析分布式系统开发的需求，探讨Java技术栈、分布式监控与日志管理、云服务模型在分布式系统Java后端开发中的应用路径，旨在为分布式系统的设计与实现提供全面的理论分析和实践指导，以支持构建高效、稳定、可扩展的企业级Java应用。 随着云计算、大数据和人工智能技术的飞速发展， 分布式系统已成为支撑现代企业信息系统的基础架构。 Java 后端开发技术在构建分布式系统中扮演着至关重要的 角色，其应用价值和研究重点主要集中在微服务架构、容 器化技术、自动化部署、服务网格、无服务器计算、应用 程序编程接口（Application Programming Interface， API）管理、数据一致性解决方案、分布式缓存、负载均衡、 复杂事件处理和分布式事务管理等方面[1]。Java平台以 其成熟的生态系统、跨平台的移植性、丰富的开源框架 和库以及稳定的性能，为分布式系统的开发提供了坚实 的基础[2]。深入探讨Java后端开发技术在分布式系统中 的应用实践，旨在为企
哈工大LTP python 安装
12-20
以下是哈工大LTP在Python中的安装步骤： 1. 首先，下载适用于你的操作系统和Python版本的wheel文件。根据引用中的描述，你可以从哈工大LTP的官方网站或其他可靠的资源下载wheel文件。 2. 打开命令行终端，并进入wheel文件所在的目录。 3. 执行以下命令来安装哈工大LTP： ```shell pip install pyltp-0.2.1-cp36-cp36m-win_amd64.whl ``` 请注意，上述命令中的wheel文件名可能会因你下载的文件而有所不同。确保使用正确的文件名。 4. 等待安装完成。安装过程可能需要一些时间，取决于你的系统和网络速度。 5. 安装完成后，你可以在Python脚本中导入pyltp模块，并使用哈工大LTP的功能了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值