python通过jieba分词器和whoosh实现地址全文检索和匹配

已于 2023-03-07 14:30:40 修改
阅读量649 收藏 1
点赞数
分类专栏： Python君 文章标签： python 全文检索 开发语言
于 2023-03-07 10:46:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yilvyangguang520/article/details/129377331
版权
该博客介绍了如何结合jieba分词器和whoosh全文检索库，通过LTP分词引擎预处理地址数据，创建索引，并进行地址匹配。文章包含源码分析和匹配结果讨论，探讨了门牌号匹配错误的问题。
摘要由CSDN通过智能技术生成

地址匹配效果

在这里插入图片描述

背景

jieba分词是对中文分词这块效果比较理想的，而且有现成的分词器可以供全文检索引擎调用
LTP分词也是对中文分词这块效果比较理想的，在某些方便效果更佳，目前还没有现成的分词器可以供全文检索引擎调用，所以是不是可以将LTP分词后的分词数据给jieba分词引擎补充自定义分词库来用呢

大纲

1、通过LTP分词引擎对地址数据进行分词，并将分词进行整理去重,加入jieba分词库

2、对标准地址数据通过jieba分词引擎建立索引

3、query_test.py 测试检索、地址匹配等等

4、address_match_thread.py 非标地址匹配

源码

1、1writepartword_LTP_mysql_threads

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GIS从业者
关注
专栏目录
订阅专栏
python通过jieba和whoosh实现mysql添加全文索引
yilvyangguang520的博客
08-16 616
jieba和whoosh实现mysql添加全文索引
中文地址分词及匹配项目
08-30
处理中文地址的分词和匹配 采用混合分词算法进行中文地址分词 在中文地址分词基础上采用Double Levenshetin算法进行中文地址相似度进行地址匹配
[史上最全] python Django如何实现全文检索[一看就会]
weixin_64116813的博客
11-17 873
先奉上官方网址："ok 跟着我的节奏 一步一步来 步步都很关键。
python借助jieba、addressparser第三库准确提取省市区地址
weixin_43718742的博客
12-06 2480
提取中国省市区 jieba库 中文分词 地址拆分 pandas根据某一列提取省份 python提取省份信息
python标准化地址_python 行政区域地址标准化：业务经理填报的地址乱起八糟，高德接口有点厉害! -- 后续，使用分词思路完成解析...
weixin_39617044的博客
12-20 826
可以考虑jieba分词库，不过需要先进行训练。依赖库:jieba提前准备：国家统计局所有地区信息，以及地区简写。importjiebacontent= "韩国东大门单鞋女方头绒面一脚蹬韩版休闲2020春季新款平底毛毛鞋"result=jieba.cut(content)print("自定义前：",",".join(result))jieba.add_word("东大门")jieba.add_wor...
python 搜索引擎Whoosh中文文档和代码 以及jieba的使用
weixin_34381687的博客
07-17 285
注意， 数据库的表最好别有下划线     中文文档链接： 　　　　　　https://mr-zhao.gitbooks.io/whoosh/content/%E5%A6%82%E4%BD%95%E7%B4%A2%E5%BC%95%E6%96%87%E6%A1%A3.html 　　　　　　https://mr-zhao.gitbooks.io/whoosh/content/如何索引...
使用python+whoosh实现全文检索
09-18
本文将深入讲解如何使用Python和Whoosh来实现全文检索。 首先，让我们了解Whoosh的基本概念。Whoosh提供了索引、查询和搜索的功能，能够对文本进行分词处理，从而实现高效的全文搜索。在中文环境下，由于涉及到中文...
Django实现whoosh搜索引擎使用jieba分词
09-17
在本文中，我们将深入探讨如何在Django项目中利用whoosh搜索引擎和jieba分词库来实现中文文本的全文检索。whoosh是一个流行的Python搜索引擎库，而jieba是专门用于中文分词的工具，这两者的结合能有效地处理中文文本...
Django学习笔记（四十五）:haystack全文检索框架+whoosh搜索引擎+jieba分词实现全文检索功能
小火车的博客
04-15 1033
全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理。 haystack：全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，点击查看官方网站。 whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的...
【Python】自然语言处理 文本匹配
qq_39165617的博客
05-08 350
自然语言处理搜狐文本匹配竞赛 搜狐文本匹配竞赛 比赛链接： https://www.biendata.net/competition/sohu_2021/leaderboard/ baseline链接 官方：https://github.com/Husbandman666/sohu2021-baseline F1(0.72): https://github.com/Husbandman666/NLP-Programs/tree/master/03_NLI F1(0.73): https://github.c
python的中文分词库smallseg
01-03
python的中文分词库有多个，jieba、thulac都可以在GitHub上下载到，但是smallseg需要在code.google上下载，所以只上传了smallseg
Python 使用pandas处理Excel —— 快递订单处理 数据匹配 邮费计算
lmmmmmmmmmmmmmmm的博客
02-17 1588
快递订单处理 数据匹配 邮费计算
python构建地址元素词库+双向最大匹配分词
稳如老狗Elsie
08-10 2686
本文示例程序的功能主要是将全量不规范地址文本进行解析，提取地址要素词构建自定义地址元素词库，该词库分别维护了停用词、地址要素级别关键字、地址要素词、同义词等；自定义地址元素词库完成初始化之后，首先基于该词库对每条地址文本进行停用词剔除、同义词替换等预处理，然后应用双向最大匹配法对地址文本进行分词，提取地址要素词，最后是对分词结果的应用，例如词云、文本匹配等。关注应用过程中遇到的问题，完善代码解决问题的同时动态维护完善自定义地址元素词库。 这个项目是之前算法同事交接给我的，不过我基本算是重写了，展开来写的暂
地址分词 | EXCEL批量进行地址分词，标准化为十一级地址
最新发布
gis9的专栏
03-08 1362
该功能基于NLP大模型算力进行处理和分析，准确率90%以上，是业界最专业的地址数据处理功能之一
python全文检索框架_全文检索框架haystack和搜索引擎whoosh的使用
weixin_39579127的博客
12-10 511
认识全文检索和搜索引擎以及相应的安装配置1、认识全文检索和搜索引擎全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理。haystack：全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，点击查看官方网站。whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsea...
python通过LTP和whoosh实现mysql添加全文索引
yilvyangguang520的博客
08-16 203
python通过LTP和whoosh实现mysql添加全文索引
chatgpt赋能python：PythonWhoosh:优秀的搜索引擎库
tulingtest的博客
05-25 301
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
Python常用中文分词库：jieba
xiaolinyui的博客
03-01 1633
使用jieba分词时，分词结果需要与jieba的词典库进行匹配，才能返回到分词结果中。因此有些词需要用户自定义，才能识别到。jieba.add_word('铃儿响叮当')jieba.add_word('让世界充满爱')jieba.add_word('迅雷不及掩耳之势')print('[添加自定义词语]：', lcut_res)[添加自定义词语]： ['迅雷', '迅雷不及', '迅雷不及掩耳', '不及', '掩耳', '掩耳盗铃',
jieba+whoosh实现简单的商品搜索功能
FanMLei的博客
04-17 1820
功能描述 实现一个类似淘宝的搜索功能，例如下面这个例子 简单点来说我们需要先根据商品名称创建索引，然后再用索引文件匹配去查询字符串来实现商品的搜索，这种搜索是有别于正则匹配的，他会对字符串进行分词处理，准确度也会更高。 准备工作 这个项目种主要用到了jieba、whoosh两个库，其中jieba实现对中文的分词处理，whoosh则是创建索引文件。 安装依赖： 系统：Ubuntu 16.04 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GIS从业者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值