thinphp+mysql 实现 分表(不同表)日志，group by，order by 查询

最新推荐文章于 2021-03-10 11:59:03 发布
最新推荐文章于 2021-03-10 11:59:03 发布
阅读量531 收藏 1
点赞数
分类专栏： thinkphp php 文章标签： php
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19598963/article/details/111032603
版权
thinkphp 同时被 2 个专栏收录
31 篇文章 0 订阅
订阅专栏
php
19 篇文章 0 订阅
订阅专栏

表结构

这几张表都结构都是相同的，除了存储的数据不同

要实现什么呢？

每个表的uuid进行分组，并且以id最新的排序
根据日期范围，实现批量查询不同月份的表

代码

controller



<?php
/**
 * Created by.
 * User: Jim
 * Date: 2020/11/17
 * Time: 14:41
 */

namespace app\admin\controller\analysis;


use app\admin\controller\master\Common;
use app\admin\model\master\Analysis;
use think\Db;
use think\facade\Config;

/**
 * 前端用户每个页面 浏览的信息
 * Class Tracker
 * @package app\admin\controller
 */
class Tracker extends Common
{

    static $tablePrefix;

    public function initialize()
    {
        parent::initialize(); // TODO: Change the autogenerated stub
        self::$tablePrefix = Config::get('database.analysis.prefix');

        $this->model = new \app\admin\model\analysis\Tracker();
        $tablesName = $this->getBetweenTable('2020-11',date('Y-m'));

        $this->assign(compact('tablesName'));


    }

    public function index()
    {
        return $this->fetch();
    }

    /**
     * 信息列表
     */
    public function list()
    {
        $subQuery = $this->model
            ->name($this->model->getTableName())
            ->where($this->model->search())
            ->order('id desc')
            ->buildSql();

        $lists = $this->model
            ->table($subQuery . 'a')
            ->field('*,count(*) survival_time')
            ->order('id desc')
            ->group('uuid')
            ->paginate($this->limit);

        _lists($lists);

    }


    /**
     * 数据导出
     */
    public function export()
    {


        $time = $this->request->get('time');
        $time = json_decode($time, true)['create_time'];
        // 沒有选择时间，默认为本月的
        if ($time == '') {
            $subQuery = $this->model
                ->order('id desc')
                ->buildSql();

            $datas = $this->model
                ->table($subQuery . 'a')
                ->field('*,count(*) survival_time')
                ->order('id desc')
                ->group('uuid')
                ->select();
        } else {
            //根据日期查询  多个表
            [$start_time, $last_time] = explode(' ~ ', $time);
            $tablesName = $this->getBetweenTable($start_time, $last_time);


            /**
             * 查询指定的时间
             */
            $datas = [];
            foreach ($tablesName as $table){
                $subQuery = $this->model
                    ->name($table)
                    ->whereTime('create_time', 'between', [$start_time, $last_time])
                    ->order('id desc')
                    ->buildSql()
                ;

                $data = $this->model
                    ->table($subQuery . 'a')
                    ->field('*,count(*) survival_time')
                    ->order('id desc')
                    ->group('uuid')
                    ->select()
                    ->toArray();
                $datas = array_merge($datas,$data);
            }
        }

        $lists = [];
        foreach ($datas as $row) {

            $item['product_name'] = $row['product_name'];
            $item['product_code'] = $row['product_code'];
            $item['user_formal'] = $row['user_formal'];
            $item['ip_formal'] = $row['ip_formal'];

            $item['keep_time'] = $row['keep_time'];
            $item['survival_time'] = "约{$row['survival_time']}秒";
            $item['create_time'] = $row['create_time'];

            $item['url'] = $row['url'];
            $item['referer'] = $row['referer'];
            $item['user_agent'] = $row['user_agent'];
            $lists[] = $item;
        }
        $name = '用户行为分析列表—' . date('Y-m-d His', time());
        $headers = [
            '产品名称', '产品代码', '邮箱', 'IP',
            '留存时间', '页面活动时间', '访问时间',
            'URL', '来源URL', '访问方式',
        ];
        exportDataCsv($lists, $headers, $name);


    }


    /**
     * 获取时间段内的存在的表  列表
     * @param $start_time
     * @param $last_time
     * @return array
     */
    private function getBetweenTable($start_time, $last_time)
    {

        $time1 = strtotime($start_time); // 自动为00:00:00 时分秒 两个时间之间的年和月份
        $time2 = strtotime($last_time);

        $monarr[] = date('Ym', $time1);;
        while (($time1 = strtotime('+1 month', $time1)) <= $time2) {
            $monarr[] = date('Ym', $time1); // 取得递增月;
        }

        $names = [];
        foreach ($monarr as $row) {
            $tableName =  'tracker_' . $row;
            $check = Db::connect('analysis')->query("show tables like '" . self::$tablePrefix .$tableName . "'");

           if (!$check) continue;
            $names[] = $tableName;

        }

        return array_reverse($names);
    }

}

model

<?php
/**
 * Created by.
 * User: Jim
 * Date: 2020/10/30
 * Time: 9:09
 */

namespace app\admin\model\analysis;


use app\admin\model\master\Analysis;
use think\Db;
use think\facade\Request;
use function Complex\theta;

class Tracker extends Analysis
{


    protected function initialize()
    {
        parent::initialize(); // TODO: Change the autogenerated stub

        $this->name = 'tracker_' . date('Ym');

    }


    protected $append = [
        'ip_formal',
        'user_formal',
        'keep_time',
    ];


    public function getKeepTimeAttr($value, $data)
    {
        try {

            [$start_time, $uuid] = explode('|', $data['uuid']);
            $last_time = $data['create_time'];
            $result = ($last_time + 2) - $start_time;
            return gmdate('H:i:s', $result);
        } catch (\Exception $e) {
            return '';
        }
    }

    public function getIpFormalAttr($value, $data)
    {
        $value = $value ?? $data['ip'] ?? '';
        if (!$value) return '';

        return long2ip($value);

    }

    public function getUserFormalAttr($value, $data)
    {
        $value = $value ?? $data['user_id'] ?? '';
        if (!$value) return '';
        return Db::name('member')->where(['id' => $value])->cache(true)->value('email');

    }


    /**
     * 搜索
     * @return array
     */
    public function search()
    {
        $params = Request::get();
        if (!isset($params['searchParams'])) return [];
        $searchParams = json_decode($params['searchParams'], true);
        $where = [];
        unset($searchParams['create_time']);
        foreach ($searchParams as $field => $value) {
            $value = trim($value);

            if ($field == 'tableName') continue;
            if ($value == '') continue;

            $where[] = [$field, 'like', "%{$value}%"];
        }
        return $where;
    }
    /**
     * 搜索
     * @return array
     */
    public function getTableName()
    {
        $params = Request::get();
        if (!isset($params['searchParams'])) return $this->name;
        $searchParams = json_decode($params['searchParams'], true);
        $tableName = $searchParams['tableName'] ?? $this->name;
        return $tableName;
    }
}

使用、

（base64）根据日期查询所有数据
http://www.au.test.cc/analysis/tracker/export?time={%22create_time%22:%222020-11-11%20~%202020-12-25%22,%22tableName%22:%22tracker_202011%22,%22product_name|product_code%22:%22%22

（base64）选择指定的表以及搜索关键字
http://www.au.test.cc/analysis/tracker/list?page=1&limit=15&searchParams=%7B%22create_time%22%3A%222020-11-11%20~%202020-12-25%22%2C%22tableName%22%3A%22tracker_202011%22%2C%22product_name%7Cproduct_code%22%3A%22123%22%7D

http://www.au.test.cc/analysis/tracker/list?page=1&limit=15


{
    "code":0,
    "msg":"",
    "count":5,
    "data":[
        {
            "id":62,
            "user_id":4403,
            "uuid":"1605661840|d87c7ca6-0ced-4c62-b59f-e03669848652",
            "ip":2130706433,
            "url":"http://www.index.test.cc/goods/detail/id/1394.html",
            "product_name":"KN95 Face Mask",
            "product_code":"PCA024",
            "user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Safari/537.36",
            "referer":"http://www.index.test.cc/",
            "create_time":"2020-11-18 11:17:50",
            "survival_time":25,
            "ip_formal":"127.0.0.1",
            "keep_time":"02:07:12"
        },
        {
            "id":61,
            "user_id":4403,
            "uuid":"1605669370|649bb0b5-336e-43e9-9433-57e4974c0bab",
            "ip":2130706433,
            "url":"http://www.index.test.cc/goods/detail/id/1395.html",
            "product_name":"30ml Hand Sanitiser Gel",
            "product_code":"PCA04",
            "user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Safari/537.36",
            "referer":"http://www.index.test.cc/goods/detail/id/1394.html",
            "create_time":"2020-11-18 11:17:50",
            "survival_time":21,
            "ip_formal":"127.0.0.1",
            "keep_time":"00:01:42"
        }
    ]
}
admin⁠
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
thinkphp mysql分表_数据库分表和分库的原理及基于thinkPHP的实现方法
weixin_42431713的博客
01-27 1326
为什么要分表，分库： 当我们的数据表数据量，访问量很大，或者是使用频繁的时候，一个数据表已经不能承受如此大的数据访问和存储，所以，为了减轻数据库的负担，加快数据的存储，就需要将一张表分成多张，及将一类数据存入不同的几张表，当分表已经不能满足为什么要分表，分库：当我们的数据表数据量，访问量很大，或者是使用频繁的时候，一个数据表已经不能承受如此大的数据访问和存储，所以，为了减轻数据库的负担，加快数据的...
thinkPHP5中分表的使用以及内置方法的分析
荒的博客
09-09 915
大家都知道mysql数据库是小型数据库，每张表最大承受的数据量大约是1亿条，而每张表超过300万条数据，单张表的查询速率会受到影响。
thinkphp5中数据库水平分表与增删改查
抠脚强的博客
06-16 3946
thinkphp是国内非常流行的一个PHP语言开发框架，但是在项目开发中随着数据量的不断增大，数据库已经成为影响平台发展的瓶颈问题之一，所以本文波波将简单分享thinkphp5下数据库的水平分表，以及分表后对数据的增删改查。以提升整体性能。 一、数据库分表： 1、我们首先创建数据表system_history。 CREATE TABLE `system_history` ( `id` int(...
thinkphp mysql分表_thinkphp中的分表方法
weixin_32349711的博客
01-30 592
public function getPartitionTableName($data=array()) {// 对数据表进行分区if(isset($data[$this->partition['field']])) {$field = $data[$this->partition['field']];switch($this->partition['type']) {c...
ThinkPHP去重 distinct和group by
热门推荐
helencoder的博客
12-16 2万+
近期项目中，遇到数据表去重要求，对于ThinkPHP的去重有了更加准确的认识和体会。 两种去重方式：$test_data = M('hot'); //实例化数据表 $data = $test_data->Distinct(true)->field('descriprion')->order('description desc')->select(); //利用distinct方法去重 $dat
TP5+MySQL通用分表代码
12-20
- 注意，支持【子表】，填入对应子表名、id、关联主表id，执行分表的时候，将对应把子表分表【目前支持2个子表，如果您想更多个子表，请自行修改代码】 - 为什么要分享 - 赚积分呗，老子十几年的CSDN会员了，想在...
MySql实现跨表查询的方法详解
09-10
本篇文章是对MySql实现跨表查询的方法进行了详细的分析介绍，需要的朋友参考下
Mysql分表查询,哈希,范围,列表
最新发布
09-15
分表是一种数据库分割技术，用于将大表拆分成多个小表，以提高数据库的性能和可管理性。在MySQL中，可以使用多种方法进行分表，例如基于范围、哈希或列表等...下面将详细介绍MySQL如何分表以及分表后如何进行数据查询。
MySQL分表实现上百万上千万记录分布存储的批量查询设计模式详解
09-10
本篇文章是对使用MySQL分表实现上百万上千万记录分布存储的批量查询设计模式进行了详细的分析介绍，需要的朋友参考下
分库分表+mysql+技术方案分享
02-03
mysql分库分表架构原理 1、Mysql架构演变 2、分库分表方案&常用中间件 3、Sharding-JDBC 4、分库分表过程中存在哪些问题以及如何解决 ps：可用于公司技术分享
php水平分表之后怎么查询,ThinkPHP5水平分表后分页查询解决方案
weixin_42507981的博客
03-10 1257
ThinkPHP5内置了partition方法，可用于实现简单的分表。新增，修改，删除，查询单条数据时，用partition方法都可以轻松搞定，因为这些操作有一个共同的特点，就是能事先明确的知道，我要操作的是哪一条记录。但有一个需求，ThinkPHP5似乎没有解决，比如当一个大表，被拆分成若干个子表时，如何根据相关条件及排序获取分页数据。这种需求场景下，由于事先并不知道哪些数据会出现在第一页，哪些...
thinkPHP +mysql 分表用法例子
cxy19928497的博客
06-08 2550
首先根据自己的需要建立分表，我这里使用聊天室的msg 表， 将其分成msg_00,msg_01,msg_02,msg_03,msg_04,msg_05,msg_06,msg_07,msg_08,msg_09,等10张表 然后根据userID判断需要放在哪一张表； 第一步：    判断我要放在哪一表： /* * 返回需要插入的表 */ public fun
tp5mysql分表_TP5.1分表，partition分表实例，根据自增主键水平分表
weixin_39703551的博客
01-30 773
thinkphp是国内非常流行的一个PHP语言开发框架，但是在项目开发中随着数据量的不断增大，数据库已经成为影响平台发展的瓶颈问题之一，所以本文将简单分享thinkphp5下数据库的水平分表，以及分表后对数据的增删改查。以提升整体性能。1,这里采用的是mysql单独建一张“tb_article”表来获取自增IDCREATE TABLE`tb_article` (`id`bigint(20) uns...
tp5mysql分表_基于ThinkPHP5.1扩展的分布式分表数据库存储架构，开贴记录下相关重要代码...
weixin_42463997的博客
01-30 895
基于ThinkPHP5.1扩展的分布式分表数据库存储架构，开贴记录下相关重要代码1年前阅读 6695评论 0喜欢 4### 核心技术1、PHP分表存储2、分布式服务器(数据库)，主从复制3、合表查询分页### 分表存储代码```phpnamespace org;class SubTable{// 缓存表名称地址protected static $table_path = '';// 缓存表名称列表...
php实现mysql分表
迟迟 CSDN
07-18 1万+
一、场景说明 1、为什么要进行分表 随着数据量的不断增大，一张表中的数据肯定也会越来越多，甚至达到百万甚至千万级。我们通常会通过搭建mysql集群（主从同步），读写分离来实现优化数据库查询执行效率。 但是由于数据表本身是具有表锁（myisam）以及行锁（innodb）的。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这...
接口请求日志基于年月分表
Sirius的博客
06-26 1540
Environment Lumen (5.5.2) (Laravel Components 5.5.*) Process 基于年月创建接口请求日志表，如果已经存在，则不创建。在 Lumen 框架中，将逻辑代码写在 Terminable 中间件中，通过 Session 进行异步记录，不占用接口请求时间。 <?php namespace App\Http\Middleware; us...
tp5日志分表
weixin_30340775的博客
06-19 360
/** * 记录网站日志 * * @return bool */ public function record() { // 组装数据 $log = self::$param; $log[self::METHOD] = strtoupper($log[self::MET...
PhP 中mysql数据库分库，分表基本介绍，
zlb_lover的博客
04-24 1808
MySql数据库分库分表简单分享.在某社区的需求开发中，涉及了MySql分库分表的实现，特此做简单的分享。1、分表的目的和作用当一个表数据记录过大时就会出现性能瓶颈，而一般对应的解决办法是要么做分区表，要么分表，分区表就不说了，分表又分为垂直分割和水平分割，具体区别请自行搜索。一般而言，分库分表属于水平分割，按照一定的规则将数据插入到不同的表中去。而分库则可以很方便的转移数据库的压力，比如将一个很...
mysql分库分表实战及php代码操作完整实例
爱代码也爱生活
08-07 1万+
当单表达到几千万时，查询一次要很久，如果有联合查询，有可能会死在那 分库分表主要就是解决这个问题，减小数据库的负担，缩短查询时间 分库： 1）按功能分 用户类库、商品类库、订单类库、日志类、统计类库... 1）按地区分 每个城市或省市一个同样的库，加上后缀或前缀如：db_click_bj、db_click_sh... 分表： 1、横向分表 解决表记录太大问题 1）按某个字
springboot+mysql分库分表如何实现
06-10
Spring Boot + MySQL 分库分表可以通过以下步骤实现： 1. 使用 MyBatis-plus 或者其他 ORM 框架，创建主从数据库的数据源，其中主库用于写操作，从库用于读操作。 2. 使用 ShardingSphere-jdbc 或者其他分库分表...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值