python 实现jieba分词搜索引擎

securitypaper

于 2022-07-02 16:12:41 发布

阅读量565

点赞数 1

文章标签：搜索引擎 python 开发语言

本文链接：https://blog.csdn.net/securitypaper/article/details/125574220

版权

今天需要将安全相关的词汇做成一个中文搜索引擎，词已经存入filename.txt中，使用python版jieba分词进行实现

使用jieba分词实现的中文搜索引擎

先读取filename.txt中词列表每行一个
使用jieba分词
检索测试

# -*- coding: UTF-8 -*-
from __future__ import unicode_literals
import sys,os
sys.path.append("../")
from whoosh.index import create_in,open_dir
from whoosh.fields import *
from whoosh.qparser import QueryParser

from jieba.analyse.analyzer import ChineseAnalyzer

analyzer = ChineseAnalyzer()

schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT(stored=True, analyzer=analyzer))
if not os.path.exists("tmp"):
    os.mkdir("tmp")

ix = create_in("tmp", schema) # for create new index
#ix = open_dir("tmp") # for read only
writer = ix.writer()
'''
writer.add_document(
    title="document1",
    path="/a",
    content="This is the first document we’ve added!"
)

writer.add_document(
    title="document2",
    path="/b",
    content="The second one 你 中文测试中文 is even more interesting! 吃水果"
)

writer.add_document(
    title="document3",
    path="/c",
    content="买水果然后来世博园。"
)

writer.add_document(
    title="document4",
    path="/c",
    content="工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"
)

writer.add_document(
    title="document4",
    path="/c",
    content="咱俩交换一下吧。"
)
'''
path = r'D:\\filename.txt'
fd = open(path,encoding="utf-8")
for t in fd:
   writer.add_document(
    title= t,
    path="/c",
    content=t
) 
writer.commit()
searcher = ix.searcher()
parser = QueryParser("content", schema=ix.schema)

for keyword in ["安全等级",'信息安全']:
    print("result of ",keyword)
    q = parser.parse(keyword)
    results = searcher.search(q)
    for hit in results:
        print(hit['title'])
    print("="*10)

参考文档
信通院软件开发包-SDK安全与合规报告-2020
信通院软件开发包-SDK安全研究报告-2021年
 GB/T 25070-2019 信息安全技术网络安全等级保护安全设计技术要求
 GB/T 28449-2018 信息安全技术网络安全等级保护测评过程指南
 GB/T 36627-2018 信息安全技术网络安全等级保护测试评估技术指南
 GB/T 36958-2018 信息安全技术网络安全等级保护安全管理中心技术要求