EduSoho框架DAO层缓存机制

EduSoho框架从2013年发布首个开源版本以来，收到了几万条用户真实需求及优化建议。Edusoho主产品历时5年多的不间断的迭代，发布了380多个版本，目前已得到了国内多家互联网巨头企业及大型培训机构的认可。

2013年花了三天三夜重构出首个版本的大神的github主页，欢迎大家前来围观

EduSoho框架的灵活性及可扩展性使其成为了一个有生命力的技术框架。下文主要介绍了EduSoho框架中较为底层的DAO层缓存机制。

1. BizFramework

说到DAO层，熟悉MVC框架的朋友肯定会想到MVC中的数据持久层。没错，这里说的DAO层确实是MVC框架的一部分。EduSoho使用的MVC框架是BizFramework。

BizFramework 简介

BizFramework 是在EduSoho框架不断迭代过程中结合实际应用场景抽离出来的通用业务层框架，简称Biz，后续文中统一使用Biz。

BizFramework 特点

• 简单、易用
• 开发人员可以采用经典的 Service/Dao 模式来编写业务逻辑
• 支持 Symfony、Laravel、Silex、Lumen、Phalcon 等主流PHP框架

BizFramework 使用方式

使用Biz框架写Dao层代码

和常规的 MVC 框架一致，首先定义 DAO 接口。Biz框架中定义了基础 DAO 接口 GeneralDaoInterface 以及对应的实现：GeneralDaoImpl。GeneralDaoInterface 接口如下，定义了常用的增删改查的数据操作方法。

<?php
namespace Codeages\Biz\Framework\Dao;

interface GeneralDaoInterface
{
    public function create($fields);

    public function update($id, array $fields);

    public function delete($id);

    public function get($id);

    public function search($conditions, $orderBy, $start, $limit);

    public function count($conditions);

    public function wave(array $ids, array $diffs);
}

我们在声明自己的 DAO 接口时，可以继承 GeneralDaoInterface。以课程对应的 DAO 接口为例， 直接继承自 GeneralDaoInterface 的默认接口，这些接口都是常规的通用接口，包括增删改查，减少了开发者的重复工作。

#课程对应的Dao接口

<?php
namespace Biz\Course\Dao;

use Codeages\Biz\Framework\Dao\GeneralDaoInterface;

interface CourseDao extends GeneralDaoInterface
{
    public function getByName($name);
}

在编写 DAO 实现类时，我们继承 GeneralDaoImpl 。例如课程对应的 DAO 实现类，继承 GeneralDaoImpl 后会默认实现继承自GeneralDaoInterface 的接口，所以开发者只要按约定来开发代码，也不需要额外再去实现通用的接口方法。

<?php
namespace Biz\Course\Dao\Impl;

use Codeages\Biz\Framework\Dao\GeneralDaoImpl;
use Biz\Course\Dao\CourseDao;

class CourseDaoImpl extends GeneralDaoImpl implements CourseDao
{
    protected $table = 'course';

    public function getByName($name)
    {
        return $this->getByField('name', $name);
    }

    public function declares()
    {
        return array(
            'timestamps' => array('created_time', 'update_time'),
            'serializes' => array(),
            'orderbys' => array(),
            'conditions' => array(
                'type = :type',
            ),
        );
    }
}

Service层调用Dao的方法的写法

为了让开发者可以快速上手Biz框架，Biz框架基本上保持了和常规MVC框架一致的代码书写形式，例如Spring MVC。

<?php

namespace Biz\Course\Service\Impl;

class CourseServiceImpl extends BaseService implements CourseService
{
    public function getCourseByName($name)
    {
        $course = $this->getCourseDao()->getByName($name);

        return $course;
    }


    protected function getCourseDao()
    {
        return $this->biz->dao('Course:CourseDao');
    }
}

2. DAO 代理

基于上述内容，我们得知使用Biz框架写 DAO 层和常规的MVC框架开发形式基本一致。那么 DAO 层的缓存机制到底是怎么工作的呢？

Servcie中获取 DAO 实例的代码

protected function getCourseDao()
{
    return $this->biz->dao('Course:CourseDao');
}

可以理解为从biz容器中获取 CourseDaoImpl 实例，CourseDaoImpl 实例是按需初始化的，也就是说会在第一次调用的时候进行实例化，然后后续调用返回此单例。

biz实例化Dao的代码

可以发现实际上返回的是 Dao 的代理类 DaoProxy，而非 CourseDaoImpl。

<?php

namespace Codeages\Biz\Framework\Context;
...
class Biz extends Container
{
    ...
    public function __construct(array $values = array())
        ....
        $biz['autoload.object_maker.dao'] = function ($biz) {
            return function ($namespace, $name) use ($biz) {
                $class = "{$namespace}\\Dao\\Impl\\{$name}Impl";

                #返回Dao代理类——DaoProxy
                return new DaoProxy($biz, new $class($biz), $biz['dao.metadata_reader'], $biz['dao.serializer'], $biz['dao.cache.array_storage']);
            };
        };
        ...
    }
...
}

DaoProxy

DaoProxy 中包含了 Dao 层缓存工作的核心代码，代理了大部分的查询方法，并且根据对应的缓存策略，控制着真实的 Dao 调用或者是缓存的生成及失效。

DaoProxy 优势

• 开发者甚至可以无感知 Dao 代理类的存在即可启用 Dao 层的缓存

• 默认缓存策略能适用大部分的应用场景

• 提升性能

<?php

namespace Codeages\Biz\Framework\Dao;
use Codeages\Biz\Framework\Dao\Annotation\MetadataReader;
class DaoProxy
{
    ...

    protected function getProxyMethod($method)
    {
        foreach (array('get', 'find', 'search', 'count', 'create', 'batchCreate', 'batchUpdate', 'batchDelete', 'update', 'wave', 'delete') as $prefix) {
            if (0 === strpos($method, $prefix)) {
                return $prefix;
            }
        }

        return null;
    }
    
    /**
     * @return CacheStrategy|null
     */
    private function buildCacheStrategy()
    {
        if (!empty($this->cacheStrategy)) {
            return $this->cacheStrategy;
        }

        if (empty($this->container['dao.cache.enabled'])) {
            return null;
        }

        if (!empty($this->container['dao.cache.annotation'])) {
            $strategy = $this->getCacheStrategyFromAnnotation($this->dao);
            if ($strategy) {
                return $strategy;
            }
        }

        $declares = $this->dao->declares();

        // 未指定 cache 策略，则使用默认策略
        if (!isset($declares['cache'])) {
            return $this->container['dao.cache.strategy.default'];
        }

        // 针对某个 Dao 关闭 Cache
        if (false === $declares['cache']) {
            return null;
        }

        // 针对某个 Dao 指定 Cache 策略
        $strategyServiceId = 'dao.cache.strategy.'.strtolower($declares['cache']);
        if (!isset($this->container[$strategyServiceId])) {
            throw new DaoException("Dao %s cache strategy is not defined, please define first in biz container use %s service id.", get_class($this->dao), $strategyServiceId);
        }

        return $this->container[$strategyServiceId];
    }
    ...
}

从以上代码可以得出如下结论:

• DaoProxy 默认代理了get, find, search, count, create, batchCreate, batchUpdate, batchDelete, update, wave, delete开头的方法

• 每个 Dao 都可以指定 Cache 策略，不指定则使用默认策略

3. 默认缓存策略

BizFramework 中的默认缓存策略是表级缓存，表级缓存意味着如果表有写操作则所有该表相关的缓存都会失效。

优点

• 易用
• 适用面广，适用于大部分查询多于写操作的场景

<?php

namespace Codeages\Biz\Framework\Dao\CacheStrategy;

class TableStrategy implements CacheStrategy
{
    ...
    public function beforeQuery(GeneralDaoInterface $dao, $method, $arguments)
    {
        $key = $this->key($dao, $method, $arguments);

        return $this->redis->get($key);
    }

    public function afterQuery(GeneralDaoInterface $dao, $method, $arguments, $data)
    {
        $key = $this->key($dao, $method, $arguments);

        return $this->redis->set($key, $data, self::LIFE_TIME);
    }

    public function afterCreate(GeneralDaoInterface $dao, $method, $arguments, $row)
    {
        $this->upTableVersion($dao);
    }

    public function afterUpdate(GeneralDaoInterface $dao, $method, $arguments, $row)
    {
        $this->upTableVersion($dao);
    }
    
    private function getTableVersion($dao)
    {
        $key = sprintf('dao:%s:v', $dao->table());

        if (isset($this->storage[$key])) {
            return $this->storage[$key];
        }

        $version = $this->redis->get($key);
        if (false === $version) {
            $version = $this->redis->incr($key);
        }

        $this->storage[$key] = $version;

        return $version;
    }

    private function upTableVersion($dao)
    {
        $key = sprintf('dao:%s:v', $dao->table());
        $version = $this->storage[$key] = $this->redis->incr($key);

        return $version;
    }

    private function key(GeneralDaoInterface $dao, $method, $arguments)
    {
        $version = $this->getTableVersion($dao);
        $key = sprintf('dao:%s:v:%s:%s:%s', $dao->table(), $version, $method, json_encode($arguments));

        return $key;
    }
    ...
}

• DaoImpl 中被代理的查询方法执行前会调用 beforeQuery 查询缓存。

  • 如果缓存命中，直接返回缓存；
  • 如果缓存不命中，执行真实的方法逻辑查询数据，方法执行完后调用 afterQuery 存储缓存。

• 每个表在缓存中都对应维护了一个版本号，如果有写操作则会调用 upTableVersion 方法更新版本号。可以看到所有该表相关的缓存 key 都会携带版本号信息，调用 key 方法获取最新 key，这样基于老版本号生成的 key 自然就会失效等待异步回收。

4. 缓存策略扩展

在某些特定场景下，默认缓存策略并不能适用，好在 Biz 框架允许我们扩展缓存策略。之前项目中遇到过的场景比较典型，在这里和大家分享一二。

场景1: 支持连表查询

Biz 框架推荐所有的查询都是单表查询(方便做分表分库)，默认缓存策略也不支持连表查询。但是在实际项目中可能需要用到连表查询。

实现连表查询的方案

借鉴默认策略中缓存版本号控制的方式，我们稍加修改就可以实现连表查询的缓存策略。思路很简单，把 join 的多个表的版本号组合成新的版本号作为 join 查询缓存的版本号。这样 join 表中任意一个表的版本号更新都会使 join 查询缓存失效。这样就可以确保 join 查询缓存中的数据的实时性了。

<?php

namespace CustomBundle\Common\BizFramework\CacheStrategy;

/**
 * 多表联查表级别缓存策略
 */
class TableJoinQueryStrategy implements CacheStrategy
{
    public function beforeQuery(GeneralDaoInterface $dao, $method, $arguments)
    {
        $key = $this->key($dao, $method, $arguments);

        return $this->redis->get($key);
    }

    public function afterQuery(GeneralDaoInterface $dao, $method, $arguments, $data)
    {
        $key = $this->key($dao, $method, $arguments);

        return $this->redis->set($key, $data, self::LIFE_TIME);
    }
    
    private function key(GeneralDaoInterface $dao, $method, $arguments)
    {
        $version = $this->getTableVersion($dao);
        $daoName = $this->getDaoName($dao);
        $key = sprintf('dao:%s:v:%s:%s:%s', $daoName, $version, $method, json_encode($arguments));

        return $key;
    }

    private function getDaoName($dao)
    {
        $tables = $dao->getJoinTables();

        return implode('-', $tables);
    }

    private function getTableVersion($dao)
    {
        $tables = $dao->getJoinTables();

        $version = '';

        foreach ($tables as $table) {
            $version = $version.$this->getSingleTableVersion($table).'-';
        }

        return $version;
    }

    private function getSingleTableVersion($tableName)
    {
        $key = sprintf('dao:%s:v', $tableName);

        if (isset($this->storage[$key])) {
            return $this->storage[$key];
        }

        $version = $this->redis->get($key);
        if (false === $version) {
            $version = $this->redis->incr($key);
        }

        $this->storage[$key] = $version;

        return $version;
    }
}

场景2：不需要较高实时性的数据，比如说数据报表

默认缓存策略和场景1的策略为了保证缓存数据的实时性，牺牲了一部分缓存的命中率。如果不需要很高的数据实时性，建议采用另一种更为简单的缓存策略 —— 有效期失效缓存策略。

有效期失效的缓存策略

即给缓存设置一个有效期，在有效期内不考虑数据的实时性直接返回缓存数据。适用于数据统计、数据报表等对实时性要求不高的场景。具体代码如下。

<?php

namespace CustomBundle\Common\BizFramework\CacheStrategy;

/**
 * 固定失效周期缓存策略
 */
class ExpireIntervalStrategy implements CacheStrategy
{
    #固定失效时间为1小时
    const LIFE_TIME = 3600;
    
    public function beforeQuery(GeneralDaoInterface $dao, $method, $arguments)
    {
        $key = $this->key($dao, $method, $arguments);

        return $this->redis->get($key);
    }

    public function afterQuery(GeneralDaoInterface $dao, $method, $arguments, $data)
    {
        $key = $this->key($dao, $method, $arguments);

        return $this->redis->set($key, $data, self::LIFE_TIME);
    }
    
    private function key(GeneralDaoInterface $dao, $method, $arguments)
    {
        $daoName = $this->getDaoName($dao);
        $key = sprintf('dao:%s:%s:%s', $daoName, $method, json_encode($arguments));

        return $key;
    }

    private function getDaoName($dao)
    {
        return  $dao->getDaoName();
    }
}

5. 踩坑案例

在此和大家分享一个使用默认缓存策略遇到过的坑点。

坑的场景

用户表中有个用于记录用户最后登入时间的字段，用户每次登入都会更新该字段。当大量用户并发登入时，该字段的内容会频繁更新，缓存版本号不停往上涨，导致了短时间内大量失效缓存占用大量内存未能及时回收的问题。

解决方案

将该字段的更新操作单独拎出来写成方法，同时要注意该方法命名不能符合 DaoProxy 的代理前缀。这样就意味着该字段的更新操作不会导致对应的缓存版本号更新。由于该字段不需要很高的实时性，所以可以等待缓存默认失效时间到达后再刷新数据。这样的话就不需要额外写缓存刷新逻辑，提高了工作效率。

6. Q&A

如果你也遇到过坑欢迎留言探讨。

更多关于BizFramework的使用说明, 感兴趣的同学可以看下官方开发文档。

官方开发文档地址

EduSoho官网 https://www.edusoho.com/
EduSoho开源地址 https://github.com/edusoho/edusoho