27.搜索引擎

1.搜索引擎工作原理

1.倒排索引

• 搜索引擎中储存的是倒排索引，就是分好的词，和词语文章的关联
• 事先把文章使用分词打散，以词为依据，标记清楚对应的文章的编号
• 查询时，把查询的语句也进行分词，然后根据分词，找到哪些文章中包含了这些词

---

2.django创建全文索引的过程

• django中提供的是结构化数据
• haystack把结构化转非结构化
• 搜索引擎把非结构化转分词

---

3.课程全文检索接口

3.1 安装

pip install django-haystack
pip install whoosh
pip install jieba

3.2 什么是haystack

• haystack是django的开源搜索框架，该框架支持Solr,Elasticsearch,Whoosh, Xapian搜索引擎，不用更改代码，直接切换引擎，减少代码量。
• 搜索引擎使用Whoosh，这是一个由纯Python实现的全文搜索引擎，没有二进制文件等，比较小巧，配置比较简单，当然性能自然略低。
• 中文分词Jieba，由于Whoosh自带的是英文分词，对中文的分词支持不是太好，故用jieba替换whoosh的分词组件。

3.3 配置 + views函数

3.3.1. syl/settings.py全文检索配置

'''注册app'''
INSTALLED_APPS = [
    'haystack',  # haystack要放在应用上面
] 


'''模板路径'''
TEMPLATES = [
    {
        'DIRS': [os.path.join(BASE_DIR, 'templates')],
    },
]


'''全文检索配置'''
# 全文检索配置
HAYSTACK_SEARCH_RESULTS_PER_PAGE = 15  # 搜索出多条数据时需要分页
HAYSTACK_CONNECTIONS = {
    'default':{
        'ENGINE': 'course.whoosh_cn_backend.MyWhooshEngine',
        'PATH': os.path.join(BASE_DIR, 'whoosh_index')  # 指定倒排索引存放位置
    },
}

# # ES 引擎
# HAYSTACK_CONNECTIONS = {
#     'default':{
#         'ENGINE':'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
#         'URL': 'http://10.211.55.15:9200/',  # Elasticsearch服务器ip地址，端口号固 定为9200
#         'INDEX_NAME': 'syl',  # Elasticsearch建立的反向索引库的名称
#     },
# }

# 添加此项，当数据库改变时，会自动更新索引，非常方便
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

3.3.2 在子应用下创建索引文件

• apps/course/search_indexes.py/

# apps/course/search_indexes.py
# 文件名必须是 search_indexes.py
from haystack import indexes
from .models import Course

# 修改此处，类名为模型类的名称+Index，比如模型类为GoodsInfo,则这里类名为GoodsInfoIndex(其 实可以随便写)
class CourseIndex(indexes.SearchIndex,indexes.Indexable):
    """
    Course索引类
    """
    #　text为索引字段
    #  document = True　这代表haystack和搜索引擎将使用此字段的内容作为索引进行检索
    #　use_template = True 指定根据表中的哪些字段建立索引文件的说明放在一个文件中
    text = indexes.CharField(document=True,use_template=True)

    # 对哪张表进行查询
    def get_model(self): #　　重载get_model方法，必须要有
        '''返回建立索引的模型类'''
        return Course # 返回这个model

    # 建立索引的数据
    def index_queryset(self, using=None):
        '''返回要建立索引的数据查询集'''
        # 这个方法返回什么内容，最终就会对哪些方法建立索引，这里是对所有字段建立索引
        return self.get_model().objects.all()

3.3.3 指定索引模板文件

• templates/search/indexes/course/course_text.txt
• 创建文件路径命名必须这个规范：templates/search/indexes/应用名称/模型类名称 _text.txt

{{object.id}} 
{{object.title}}
{{object.desc}}

3.3.4 修改为jieba分词中的中文分析器

• apps/course/whoosh_cn_backend.py

from haystack.backends.whoosh_backend import WhooshEngine, WhooshSearchBackend
from whoosh.fields import TEXT
from jieba.analyse import ChineseAnalyzer


class MyWhooshSearchBackend(WhooshSearchBackend):
    def build_schema(self, fields):
        (content_field_name, schema) = super().build_schema(fields)
        # 指定whoosh使用jieba进行分词
        schema._fields['text'] = TEXT(stored=True,
                                      analyzer=ChineseAnalyzer(),
                                      field_boost=fields.get('text').boost,
                                      sortable=True)
        return (content_field_name, schema)


class MyWhooshEngine(WhooshEngine):
    backend = MyWhooshSearchBackend

3.3.5 课程全文检索接口视图函数

• course/views.py

from syl import settings
from django.core.paginator import InvalidPage, Paginator
from haystack.forms import ModelSearchForm
from django.http import JsonResponse

# 全文检索
# 如果settings.py中配置就是用settings中配置的，否则就每页15条
RESULTS_PER_PAGE = getattr(settings, 'HAYSTACK_SEARCH_RESULTS_PER_PAGE', 15)


def course_index_search(request):
    query = request.GET.get('q', None)
    page = int(request.GET.get('page', 1))  # 第几页
    page_size = int(request.GET.get('page_size', RESULTS_PER_PAGE))  # 每页多少条
    if query:
        form = ModelSearchForm(request.GET, load_all=True)  # 将查询条件传递给查询对象

        if form.is_valid():
            results = form.search()  # 查询出来的最终数据
        else:
            results = []
    else:
        return JsonResponse({'code': 404, 'msg': 'No file found!!!', 'data': []})

    # 对结果集进行分页
    paginator = Paginator(results, page_size)
    try:
        page = paginator.page(page)  # 从分好的页中拿第几页
    except InvalidPage:
        return JsonResponse({'code': 404, 'msg': 'No file found!!!', 'data': []})

    jsondata = []
    for result in page.object_list:  # 分页后的课程查询结果
        data = {
            'id': result.object.id,
            'title': result.object.title,
            'desc': result.object.desc,
            'img': request.scheme + '://' + request.META['HTTP_HOST'] + result.object.img.url,
            # 'follower': result.object.follower,
            'learner': result.object.learner,
            'status': result.object.status,
            'course_type': result.object.course_type.id,
        }
        jsondata.append(data)
    result = {
        "code": 200,
        "msg": 'Search successfully！',
        "data": {"count": page.paginator.count,"results": jsondata}
    }
    return JsonResponse(result)

3.3.6 syl/urls.py配置路由

urlpatterns = [
    path('search/', course_index_search),
]

3.3.7 命令构建倒排索引

python manage.py rebuild_index

3.3.8 测试课程全文检索

 http://192.168.56.100:8888/search/?q=入门&page=1&page_size=1

• 测试结果

{
    "code": 200,
    "msg": "Search successfully！",
    "data": {
        "count": 3,
        "results": [
            {
                "id": 4,
                "title": "Linux 基础入门",
                "desc": "本课程教你如何熟练地使用 Linux，本实验中通过在线动手实验的方式学习 Linux 常用命令，用户与权限管理，目录结构与文件操作，环境变量，计划任务，管道与数据流重定向等基本知识点。",
                "img": "http://192.168.56.100:8888/media/course/ncn1.jpg",
                "learner": 304693,
                "status": "1",
                "course_type": 1
            }
        ]
    }
}