第八章广告检索系统——广告数据索引的设计与实现（1）

最新推荐文章于 2022-07-06 19:00:03 发布

paynmind

最新推荐文章于 2022-07-06 19:00:03 发布

阅读量1.3k

点赞数 3

分类专栏：项目2——广告系统文章标签： java mysql 数据库 spring 项目

本文链接：https://blog.csdn.net/paynmind/article/details/109540988

版权

本文详细介绍了广告检索系统中广告数据索引的设计与实现，包括正向索引和倒排索引的概念及应用，以及推广计划、推广单元、关键词、兴趣和地域索引对象的定义和服务实现。重点讨论了全量和增量索引维护策略，确保检索服务的高效性和数据完整性。

摘要由CSDN通过智能技术生成

此博客用于个人学习，来源于网上，对知识点进行一个整理。

1. 广告数据索引：

设计索引的目的就是为了加快检索的速度，将原始数据抽象，规划出合理的字段，在内存中构建广告数据索引。记住，并不是所有的数据都需要放在索引里。

1.1 广告数据索引设计：

1）正向索引：

定义：通过唯一键/主键生成与对象的映射关系。核心思想是通过一个键找到一个对象，且这种关系是确定的，即唯一键对应到唯一的对象。主要应用在推广计划，推广单元和创意中。

例子：

在这里插入图片描述
2）倒排索引：

定义：也被称为反向索引，是一种索引方法，它的设计是为了存储在全文搜索下某个单词在一个文档或一组文档中存储位置的映射。是在文档检索系统中最常用的数据结构。核心思想是通过内容去确定包含关系的对象。

例子：

在这里插入图片描述
倒排索引在广告系统中的应用：核心用途是对各个维度限制的“整理”。

1.2 广告数据索引维护：

核心思想是保证检索服务中的索引是完整的，所以采用全量索引加增量索引的方式实现。

全量索引：检索系统在启动时一次性读取当前数据库中（注意，不能直接从数据库中直接读取）的所有数据，建立索引。

增量索引：系统运行过程中，监控数据库变化，即增量，实时加载更新，构建索引。

在这里插入图片描述

2. 推广计划索引对象定义与服务实现：

首先需要意识到的一点是，并不是所有的数据库都需要建立索引对象，同样的，也并不是所有的属性都得包含在索引对象里面。

2.1 索引接口方法：

包括了索引的增删改查方法，后面定义的索引对象都要实现这个接口，来实现对应的增删改查方法。

public interface IndexAware<K,V> {
   

    V get(K key);

    void add(K key,V value);

    void update(K key,V value);

    void delete(K key,V value);
}

2.2 建立索引对象：

方法有了，接下来要定义的就是包含着索引字段的对象类。

@Data
@NoArgsConstructor
@AllArgsConstructor
public class AdPlanObject {
   

    private Long planId;
    private Long userId;
    private Integer planStatus;
    private Date startDate;
    private Date endDate;

    /**
     * 由于更新数据的时候并不一定是更新所有字段，这里是为了确定更新的字段
     * @param newObject
     */
    public void update(AdPlanObject newObject){
   
        if (null != newObject.getPlanId()){
   
            this.planId = newObject.getPlanId();
        }
        if (null != newObject.getUserId()){
   
            this.userId = newObject.getUserId();
        }
        if (null != newObject.getPlanStatus()) {
   
            this.planStatus = newObject.getPlanStatus();
        }
        if (null != newObject.getStartDate()) {
   
            this.startDate = newObject.getStartDate();
        }
        if (null != newObject.getEndDate()) {
   
            this.endDate = newObject.getEndDate();
        }
    }
}

2.3 定义索引的实现类：

需要去实现之前接口定义的方法，首先要定义一个 map 的全局变量，因为 map 就是典型的 key-value 结构，符合我们的需求。由于我们的服务会实现索引的更新，而对于索引的更新，我们需要保证的就是线程安全的，于是我们需要先静态的构造一个安全的 map 全局变量。

@Slf4j
@Component
public class AdPlanIndex implements IndexAware<Long,AdPlanObject> {
   

    private static Map<Long,AdPlanObject> objectMap;

    static {
   
        objectMap = new ConcurrentHashMap<>();
    }

    @Override
    public AdPlanObject get(Long key) {
   
        return objectMap.get(key);
    }

    @Override
    public void add(Long key, AdPlanObject value) {
   
        log.info("before add: {}", objectMap);
        objectMap.put(key,value);
        log.info("after add: {}", objectMap);
    }

    @Override
    public void update(Long key, AdPlanObject value) {
   
        log.info("before update: {}",objectMap);
        AdPlanObject oldObject = objectMap.get(key);
        if (null == oldObject){
   
            objectMap.put(key, value);
        }else {
   
            oldObject.update(value);
        }
        log.info("after update: {}",objectMap);
    }

    @Overri