ElesticSearch对接python

ES 是什么

Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎,它可以准实时地快速存储、搜索、分析海量的数据。

 

什么是全文检索

   全文检索是指计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据。

   在全文搜索里,文档数据离不开搜索,而搜索离不开索引(没有索引搜索会很低效),倒排索引(Inverted index)是全文搜索系统里最高效的索引方法和数据结构,ES的索引就是倒排索引。也称反向索引/置入索引或反向档案,用以存储一个映射:在全文搜索下某个单词在一个文档或者一组文档中的位置

 

我是中国人。我、中国人。默认的分词: lucence, 不支持中文, jieba分词

 

所以要在ElacticSearch中建立分词。

 

 

 

Haystack为Django提供了模块化的搜索,可以让你在不修改代码的情况下使用不同的搜索后端(比如 Solr, Elasticsearch, Whoosh, Xapian 等等)

我们在django中可以通过使用haystack来调用Elasticsearch搜索引擎。

 

1)安装

pip install drf-haystack

pip install elasticsearch==2.4.1

 

drf-haystack是为了在REST framework中使用haystack而进行的封装(如果在Django中使用haystack,则安装django-haystack即可)。

2)注册应用

INSTALLED_APPS = [

    ...

    'haystack',

    ...

]

3)配置

在配置文件中配置haystack使用的搜索引擎后端

# Haystack

HAYSTACK_CONNECTIONS = {

    'default': {

        'ENGINE': #haystack后端更改为ES

'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',

        'URL': 'http://10.211.55.5:9200/',  # 此处为elasticsearch运行的服务器ip地址,端口号固定为9200

        'INDEX_NAME': 'meiduo',  # 指定elasticsearch建立的索引库的名称

    },

}

 

# 当添加、修改、删除数据时,自动生成索引

HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

注意:

HAYSTACK_SIGNAL_PROCESSOR 的配置保证了在Django运行起来后,有新的数据产生时,haystack仍然可以让Elasticsearch实时生成新数据的索引

4)创建索引类

通过创建索引类,来指明让搜索引擎对哪些字段建立索引,也就是可以通过哪些字段的关键字来检索数据。

在goods应用中新建search_indexes.py文件,用于存放索引类

from haystack import indexes

 

from .models import SKU

 

 

class SKUIndex(indexes.SearchIndex, indexes.Indexable):

    """

    SKU索引数据模型类

    """

    text = indexes.CharField(document=True, use_template=True)

 

    def get_model(self):

        """返回建立索引的模型类"""

        return SKU

 

    def index_queryset(self, using=None):

        """返回要建立索引的数据查询集"""

        return self.get_model().objects.filter(is_launched=True)

在SKUIndex建立的字段,都可以借助haystack由elasticsearch搜索引擎查询。

其中text字段我们声明为document=True,表名该字段是主要进行关键字查询的字段, 该字段的索引值可以由多个数据库模型类字段组成,具体由哪些模型类字段组成,我们用use_template=True表示后续通过模板来指明。

在REST framework中,索引类的字段会作为查询结果返回数据的来源。

6)在templates目录中创建text字段使用的模板文件

具体在templates/search/indexes/goods/sku_text.txt文件中定义

{{ object.name }}

{{ object.caption }}

{{ object.id }}

此模板指明当将关键词通过text参数名传递时,可以通过sku的name、caption、id来进行关键字索引查询。

7)手动生成初始索引

python manage.py rebuild_index

8)创建序列化器

在goods/serializers.py中创建haystack序列化器

from drf_haystack.serializers import HaystackSerializer

 

class SKUSerializer(serializers.ModelSerializer):

    """

    SKU序列化器

    """

    class Meta:

        model = SKU

        fields = ('id', 'name', 'price', 'default_image_url', 'comments')

 

class SKUIndexSerializer(HaystackSerializer):

    """

    SKU索引结果数据序列化器

    """

    object = SKUSerializer(read_only=True)

 

    class Meta:

        index_classes = [SKUIndex]

        fields = ('text', 'object')

说明:

  1. 下面的搜索视图使用SKUIndexSerializer序列化器用来检查前端传入的参数text,并且检索出数据后再使用这个序列化器返回给前端;
  2. SKUIndexSerializer序列化器中的object字段是用来向前端返回数据时序列化的字段。

Haystack通过Elasticsearch检索出匹配关键词的搜索结果后,还会在数据库中取出完整的数据库模型类对象,放到搜索结果的object属性中,并将结果通过SKUIndexSerializer序列化器进行序列化。所以我们可以通过声明搜索结果的object字段以SKUSerializer序列化的形式进行处理,明确要返回的搜索结果中每个数据对象包含哪些字段。

如,通过上面两个序列化器,最终的返回结果形式如下:

[

    {

        "text": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕蓝 移动联通电信4G手机 双卡双待\nwifi双天线设计!徕卡人像摄影!P10徕卡双摄拍照,低至2988元!\n11",

        "object": {

            "id": 11,

            "name": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕蓝 移动联通电信4G手机 双卡双待",

            "price": "3788.00",

            "default_image_url": "http://image.meiduo.site:8888/group1/M00/00/02/CtM3BVrRdG6AYdapAAcPaeOqMpA1594598",

            "comments": 2

        }

    },

    {

        "text": "华为 HUAWEI P10 Plus 6GB+128GB 玫瑰金 移动联通电信4G手机 双卡双待\nwifi双天线设计!徕卡人像摄影!P10徕卡双摄拍照,低至2988元!\n14",

        "object": {

            "id": 14,

            "name": "华为 HUAWEI P10 Plus 6GB+128GB 玫瑰金 移动联通电信4G手机 双卡双待",

            "price": "3788.00",

            "default_image_url": "http://image.meiduo.site:8888/group1/M00/00/02/CtM3BVrRdMSAaDUtAAVslh9vkK04466364",

            "comments": 1

        }

    }

]

9)创建视图

在goods/views.py中创建视图

from drf_haystack.viewsets import HaystackViewSet

 

class SKUSearchViewSet(HaystackViewSet):

    """

    SKU搜索

    """

    index_models = [SKU]

 

    serializer_class = SKUIndexSerializer

注意:

  • 该视图会返回搜索结果的列表数据,所以如果可以为视图增加REST framework的分页功能。
  • 我们在实现商品列表页面时已经定义了全局的分页配置,所以此搜索视图会使用全局的分页配置。

返回的数据举例如下:

{

    "count": 10,

    "next": "http://api.meiduo.site:8000/skus/search/?page=2&text=%E5%8D%8E",

    "previous": null,

    "results": [

        {

            "text": "华为 HUAWEI P10 Plus 6GB+64GB 钻雕金 移动联通电信4G手机 双卡双待\nwifi双天线设计!徕卡人像摄影!P10徕卡双摄拍照,低至2988元!\n9",

            "id": 9,

            "name": "华为 HUAWEI P10 Plus 6GB+64GB 钻雕金 移动联通电信4G手机 双卡双待",

            "price": "3388.00",

            "default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRcUeAHp9pAARfIK95am88523545",

            "comments": 0

        },

        {

            "text": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕金 移动联通电信4G手机 双卡双待\nwifi双天线设计!徕卡人像摄影!P10徕卡双摄拍照,低至2988元!\n10",

            "id": 10,

            "name": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕金 移动联通电信4G手机 双卡双待",

            "price": "3788.00",

            "default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRchWAMc8rAARfIK95am88158618",

            "comments": 5

        }

    ]

}

10)定义路由

通过REST framework的router来定义路由

router = DefaultRouter()

router.register('skus/search', views.SKUSearchViewSet, base_name='skus_search')

 

...

 

urlpatterns += router.urls

11)测试

我们可以GET方法访问如下链接进行测试

http://api.meiduo.site:8000/skus/search/?text=wifi

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值