利用Gate进行中文信息抽取时 不能识别Token.string=="中文"的问题

最新推荐文章于 2024-05-04 02:41:04 发布
最新推荐文章于 2024-05-04 02:41:04 发布
阅读量1.5k 收藏
点赞数
分类专栏： 信息抽取 Gate
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laoyaotask/article/details/9053731
版权
由于项目开发的需要 近几个月来一直在研究基于Gate的中文信息抽取，偶然发现在Jape中书写的Token.string=="中文" 、Token.kind==number等语句无法被系统识别的问题，后经不断尝试，发现只要在程序中加入Gate自有的ANNIE English Tokeniser 组件，上述问题就解决了。查看了此组件对应的两个文件后发现，其代码较复杂，大致原理应该还是编码的统一。
laoyaotask
关注
专栏目录
LLM-项目详解-Chinese-LLaMA-AIpaca（二）：代码解读【①prompt指令制作、②合并分词器、③Lora模型与基础模型合并、③模型分片保存】
u013250861的博客
06-13 797
【代码】Chinese-LLaMA-AIpaca项目代码解读。
spring-cloud-gateway聚合swagger文档
黄鹰的专栏
08-09 987
需求背景 spring cloud搭建微服务系统，每个业务模块使用swagger开放文档接口查询，在业务网关模块提供swagger文档聚合查询接口，可以通过选择业务模块分类查看。 框架选型、版本及主要功能 spring boot 2.1.6.RELEASE spring cloud Greenwich.SR3 spring cloud gateway 2.1.3.RELEASE 网关组件 knife4j 2.0.1 增强swagger ui样式，网关使用其starter依赖 swagger bootstr
Gate信息抽取文档
09-28
该指导手册包含对信息抽取对介绍，ANNIE的使用，以及GATE的多种组件。
基于GATE的信息抽取系统介绍
GIS行迹--专注于GIS的发展
07-20 272
  1 GATE介绍GATE是一个应用广泛的信息抽取的开放型基础架构，为用户提供图形化的开发环境，被许多自然语言处理项目尤其是信息抽取研究项目所采用。该系统对语言处理的各个环节――从语料收集、标注、重用到系统评价均能提供很好的支持。 GATE设计的三个主要目的是： 1) 为语言处理软件提供基础架构，提供文本处理的总体组织结构。 2) 提供可重用的用于自然语言处理的组件和类库，从而能够嵌入到各种不同...
基于Gate的ANNIE插件的中文信息抽取
uzY)&PHd!cqj
11-07 5027
在上一篇文章《基于Gate的中文信息抽取API调用方式--未成功》中本来想采用Gate中的中文插件进行命名实体识别，但是没有成功，最后只能通过扩展Gate中的ANNIE插件来实现了。        ANNIE是Gate中用于英文信息抽取的插件，可以实现英文中的诸如命名实体识别等任务。要想处理中文信息需要对ANNIE进行扩展，包括扩展词表以及规则。ANNIE的主要词表为主目录是ANNIE\reso
使用 Llama3 模型进行关系提取
最新发布
安静的软件工程师
05-04 1415
使用 Llama3 模型进行关系提取
读书笔记 - 机器学习实战 - 4 利用概率理论进行分类：朴素贝叶斯
Always On The Way
02-11 8050
4 朴素贝叶斯（Classifying with probability theory: naive Bayes） 软判决：最佳判别及其概率估计 4.1 贝叶斯决策（Classifying with Bayesian decision theory） 朴素贝叶斯（贝叶斯决策理论的一个分支） 优点：能处理样本量小，多分类问题 缺点：对输入数据如何表示敏感 适用范围：离散值 两类数据，c1和...
java面试题
weixin_40212700的博客
03-10 1032
1、线程 线程创建方式继承Thread类和实现Runable接口，重写run方法 使用callable和future创建线程，使用线程池 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rVathKHe-1583845715739)(https://media.geeksforgeeks.org/wp-content/uploads/threadLifeCycle.j...
基于Gate的中文信息抽取API调用方式--未成功
uzY)&PHd!cqj
11-05 4511
学习Gate快一周了，一直在看官方的英文文档，却一直收获不到，想在自己的程序中通过API的方式实现调用Gate完成信息抽取。Gate中的ANNIE可以实现英文的命名实体识别，但是却不支持中文，后来发现Gate提供了中文的插件即放于目录plugins下的Lang_Chinese文件夹中的内容，并且提供了分词的功能，然后尝试了一下，具体思路如下。 1.设置Gate的home等系统变量。 2.调
#pragma token-string
aweilark的专栏
09-17 984
   Syntax#pragma token-string#pragma 的token-string有下面这些alloc_textcommentinit_seg1optimizeauto_inlinecomponentinline_depthpackbss_segdata_seg
32 系统进入stop模式_区块链操作系统tokenstring平台 推动区块链应用开发进入“简单”模式...
weixin_34185396的博客
01-07 1167
区块链大咖Rome带领的TOK团队推出的tokenstring作为企业区块链操作系统帮助企业快速拥抱区块链。基于这套系统，开发者可以像开发移动App一样开发区块链应用。开源、商业化是构建区块链操作系统生态必经之路。基于区块链底层技术布局，ROME团队在区块链落地成果显著，目前在内容版权、信息溯源、文化娱乐、信息安全、个体信息管理、数字广告等六大领域tokenstring均有区块链技术解决...
[iOS]将deviceToken转换成字符串
wangzhen3416的博客
08-06 5267
// 将deviceToken转换成字符串 - (void)application:(UIApplication )application didRegisterForRemoteNotificationsWithDeviceToken:(NSData )deviceToken { // 方式1 NSMutableString *deviceTokenString1 = [N
词法分析器只做token识别，代码详细注释
李红灯的博客
10-26 4825
mian.c #include "globals.h" /**创建只扫描的编译器 **/ #define NO_PARSE TRUE #include "scan.h"///词法分析，核心过程为扫描函数 //如果NO_PARSE为true,调用头文件scan.h /** 分配全局变量 */ int lineno = 0; FILE * source; ///源代码文件 FILE * lis
生成比较短的Token字符串
weixin_34218579的博客
07-09 534
有的时候，我们需要生成一些Token作为标识：如认证后的标识符，资源的提取码等。一个比较常见的算法是生成一个GUID来作为Token，由于GUID的随机性和唯一性特点，作为Token是一个非常可靠的选择。 GUID是一个128bit的数组，为了方便携带，往往需要把它表述为字符串的形式。一般把它表述为如下形式：{79FAF822-7194-4FE3-8C4F-1D99BE71BC9C}。这样有一个...
Split()拆分字符串与StringTokenizer拆分字符串
热门推荐
pigdreams的博客
04-22 2万+
前言 不管用何种编程语言写代码，对字符串的处理都是必不可少的，其中对字符串的拆分在许多场合都频繁用到。 今天介绍Java中两种主流的拆分方法,一是lang包String类的split()方法，另一种则是util包下的StringTokenizer类。 String.split()拆分字符串 1.单参数拆分方法 public String[] split(String re...
规范代码：for c in range(1, cols + 1): if ori_sheet.cell(1, c).value: if ori_sheet.cell(r, c).data_type == 'f': # 如果单元格内是函数公式，则运算后写入 formula = ori_sheet.cell(r, c).value tokens = Tokenizer(formula).parse() for token in tokens: if token.type == Token.NUMBER: token.value = str(token.value) elif token.type == Token.STRING: token.value = repr(token.value) result = tokens.to_tree().calculate() mould_sheet.cell(row=r, column=c, value=result) else: # 如果单元格内不是函数公式，则直接写入 info[ori_sheet.cell(1, c).value] = ori_sheet.cell(r, c).value # 把每一行需要的信息加入字典 mould_sheet.cell(row=r, column=c, value=ori_sheet.cell(r, c).value)
05-25
以下是规范化后的代码： ``` for c in range(1, cols + 1): if ori_sheet.cell(1, c).value: if ori_sheet.cell(r, c).data_type == 'f': # 如果单元格内是函数公式，则运算后写入 formula = ori_sheet.cell(r, c).value tokens = Tokenizer(formula).parse() for token in tokens: if token.type == Token.NUMBER: token.value = str(token.value) elif token.type == Token.STRING: token.value = repr(token.value) result = tokens.to_tree().calculate() mould_sheet.cell(row=r, column=c, value=result) else: # 如果单元格内不是函数公式，则直接写入 info[ori_sheet.cell(1, c).value] = ori_sheet.cell(r, c).value # 把每一行需要的信息加入字典 mould_sheet.cell(row=r, column=c, value=ori_sheet.cell(r, c).value) ``` 修改内容： - 代码块需要缩进，使用四个空格进行缩进 - 在if语句中，每个条件需要换行，并且缩进增加一个级别 - 在for循环中，每个语句需要换行，并且增加一个级别的缩进 - 在else语句中，与前面的if语句保持一致，每个语句需要换行，并且增加一个级别的缩进 - 对于较长的注释，可以在行尾使用`#`进行注释
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值