mysql 合并不同字段的表_合并不同服务器的数据表数据(表结构一样)

最新推荐文章于 2024-05-31 19:53:24 发布
最新推荐文章于 2024-05-31 19:53:24 发布
阅读量922 收藏
点赞数 1
文章标签： mysql 合并不同字段的表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31236309/article/details/113595888
版权

本认第一次写博客，可能有些地方表达不清晰，望大家见谅；

最近业务有个需求，需要将不同渠道的会员信息合并在一起，然后插入一张表中(每个渠道的会员数据在不同服务器，这点是操蛋的)

自己先百度了一哈，网上好像没有此类的文章，所以自己决定把这次的经验分享出来；

先说哈自己的整体思路：先把其它服务器的数据库表复制映射到本地

合并成一张表

循环合并的数据插入到本地数据库表中并处理自己业务的逻辑

下面图文讲解首先需要把mysql的FEDERATED引擎开启，默认是关闭的，可以通过show engines 命令查看；

AAffA0nNPuCLAAAAAElFTkSuQmCC

在mysql配置文件加上红色标注的

AAffA0nNPuCLAAAAAElFTkSuQmCC

准备工作已ok，下面贴上代码

1.配置信息

AAffA0nNPuCLAAAAAElFTkSuQmCC2.把其它服务器数据表映射到本地public function syncMemberTable()

{        // thinking :不同服务器的数据表 通过fea引擎 把其它服务器的表 映射到本地数据库 在把所有的平台的member数据 合并成 在循环写入更新数据

$merge_sql = 'create table ' . $this->member_table_merge . ' as   ';        //链接池

foreach ($this->dsns as $key => $dsn) {

$channel_table = $this->member_table . '_' . $key;            // 创建映射关系

$show_create_sql = ' show create table ' . $this->member_table;

$create_table_sql_result = Db::connect($dsn)->query($show_create_sql);

$create_table_sql = null;

$create_table_sql = $create_table_sql_result[0]['Create Table'];            // 把 table 名和engine 修改。并增加 connect  语句

$fed_channel_table = $channel_table . '_FED';            //本地是否已经存在

$fed_channel_table_has_sql = ' show tables like ' . '\'' . $fed_channel_table . '\'';//show tables like 后面表名比需要引号

$fed_channel_table_has_result = Db::execute($fed_channel_table_has_sql);//有 1 没有 0

if ($fed_channel_table_has_result == 0) {

Log::record("原来的sql:" . $create_table_sql, 'INFO');

$new_create_fed_sql = '';

$new_create_fed_sql = str_replace($this->member_table, $fed_channel_table, $create_table_sql);

$new_create_fed_sql = str_replace("InnoDB", 'FEDERATED  ', $new_create_fed_sql);

$user = $dsn['username'];

$password = $dsn['password'];

$host = $dsn['hostname'];

$database = $dsn['database'];

$connection = " CONNECTION='mysql://$user:$password@$host:3306/$database/$this->member_table'";

$new_create_fed_sql = $new_create_fed_sql . $connection;

Log::record("替换FED的sql:" . $new_create_fed_sql, 'INFO');

$new_create_result = Db::execute($new_create_fed_sql);//执行映射sql

if ($new_create_result !== false) {

$msg = "$key 渠道的$this->member_table" . '表 映射到本地数据库成功';                    echo $msg;

Log::record($msg, 'INFO');

} else {

$msg = "$key 渠道的$this->member_table" . '表 映射到本地数据库失败';                    echo $msg;

Log::record($msg, 'INFO');                    exit();//出错不执行

}

}            //映射成功后 在本地在新建一张表 因为映射的表不能操作表

//先查看是否存在

$new_create_table_has_sql = ' show tables like ' . '\'' . $channel_table . '\'';

$result = Db::execute($new_create_table_has_sql);//存在1 不存在0

if ($result == 0) {                /*--------------------------------------------------*/

Log::record('---------------starting create table ------------------', 'debug');

$new_create_sql = '';                //$new_create_sql = str_replace($this->member_table, $channel_table, $create_table_sql);

$new_create_sql = ' create table ' . $channel_table . ' as select * from ' . $fed_channel_table;

Log::record("create的sql:" . $new_create_sql, 'INFO');

$result = Db::execute($new_create_sql);//执行建表

if ($result != false) {

$msg = "$key 渠道的$this->member_table" . '表 copy到本地数据库成功';                    echo $msg;

Log::record($msg, 'INFO');

} else {

$msg = "$key 渠道的$this->member_table" . '表 copy到本地数据库失败,Error:' . $result;                    echo $msg;

Log::record($msg, 'INFO');                    exit();

}

}            //判断字段是否存在

$fields = Db::getTableInfo($channel_table, 'fields');            if (!in_array('channel_id', $fields)) {                //复制成功后新增渠道字段 后面做逻辑处理 渠道字段直接放在id后面

$channel_id = $dsn['channel_id'];

$channel_sql = " ALTER TABLE  `$channel_table` ADD COLUMN `channel_id`  int(10) UNSIGNED NOT NULL DEFAULT  $channel_id AFTER `id`";

$channel_result = Db::execute($channel_sql);                if ($channel_result != false) {

$msg = "$key 渠道的$this->member_table" . '表 的渠道ID字段添加成功';                    echo $msg;

Log::record($msg, 'INFO');                    //添加成功后可以删除多余的映射表

Db::execute('DROP TABLE ' . $fed_channel_table);

} else {

$msg = "$key 渠道的$this->member_table" . '表 的渠道ID字段添加失败';                    echo $msg;

Log::record($msg, 'INFO');                    exit();

}

}

$keys = array_keys($this->dsns);

$merge_sql .= ' select  distinct *  from ' . $channel_table . ($key != end($keys) ? ' union all  ' : '');

}

Log::record($merge_sql, 'INFO');        //不渠道的表合并成

$result = Db::execute($merge_sql);        if ($result == false) {            echo $msg = $this->member_table . '合并表创建失败!';

Log::record($msg, 'INFO');

} else {            echo $msg = $this->member_table . '合并表创建成功!';

Log::record($msg, 'INFO');

}

}

上面大概的思路是通过show create table 把需要合并的表的创建mysql 获取，然后把引擎改成FEDERATED，然后在本地再次创建一份视图或者表，因为我这里需要新增一个channel_id字段到其它服务器映射到本地的表中，但是FEDERATED引擎不能操作表，所以需要在多一步步骤；

表创建过后，然后通过mysql 的 union 或者 union all 合并成一张表，到此其它服务器的表在本地数据库已合并在一起，有数据了接下来就好办了；

效果:

某个服务器的表

AAffA0nNPuCLAAAAAElFTkSuQmCC

合并过后的表

AAffA0nNPuCLAAAAAElFTkSuQmCC3.同步数据//同步会员表数据

public function SynMemberTableData()

{

//把会员插入的信息另写一个日志

Log::init([

'type' => 'File',

'path' => LOG_PATH . 'MemberLog' . DS,

]);

$ts = microtime(true);

Log::record("-----------------start写入会员信息---------执行时间-----------" . date("H:i:s"), 'INFO');

Debug::remark('begin');

//统计一共有多少用户

$total = Db::table($this->member_table_merge)->group('mobile,channel_id')->count();

Log::record('一共有' . $total . '个用户', 'INFO');

if (!empty($total)) {

//进程处理数据条数

$limit = 10000;

$pages = ceil($total / $limit);

for ($i = 1; $i <= $pages; $i++) {

$members = Db::table($this->member_table_merge)->group('mobile,channel_id')->order('channel_id')->page($i, $limit)->select();

//多进程

foreach ($members as $k => $member) {

//同个渠道的人是否已经有了

$has = $this->member_model->where(['mobile' => $member['mobile'], 'channel_id' => $member['channel_id']])->count();

if (empty($has)) {

unset($member['id']);

$insert_id = $this->member_model->insertGetId($member);

if ($insert_id) {

$msg = '用户:' . $member['username'] . '[channel_id=' . $member['channel_id'] . ']数据插入成功,插入ID为:' . $insert_id;

echo $msg;

Log::record($msg, 'INFO');

} else {

$msg = '用户:' . $member['username'] . '[channel_id=' . $member['channel_id'] . ']数据插入失败';

echo $msg;

Log::record($msg, 'Error');

continue;

}

} else {

continue;

}

unset($member[$k]);//unset()

}

//

//                $reserveProcess = new \Swoole\Process(function ($worker) use ($i, $limit, $member_model, $member_dis_model) {

//

//

//

//                }, false);

Debug::remark('end');

Log::record("-----------------会员信息写入end-------------结束时间-------" . date("H:i:s"), 'INFO');

Log::record('写入耗时' . (microtime(true) - $ts) . 's ', 'debug');

Log::record('所耗内存' . Debug::getRangeMem('begin', 'end') . 'kb', 'debug');

Log::save();

echo "end SynMemberTableData task..." . (microtime(true) - $ts) . "s " . "\r\n";

}

}

$this->SynMemberTableData();//

}

插入到本地数据库的表

AAffA0nNPuCLAAAAAElFTkSuQmCC

到此大致上已完成了自己的业务需求了；

希望本文能够对你有些帮助

手抖毛大夫
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql 合并不同字段的表_怎么样查询两个不同表字段数据合并？
weixin_39874366的博客
01-19 3305
本人有两张表表AC1C2C3123356表BC1C3C4C545712346注：两张表的字段不同并且完全独立没有关系最终理想结果：不存在的表字段为nn=nullC1C2C3C4C5123nn356n...
mysql处理海量数据时的一些优化查询速度方法
09-09
11. **避免无意义的查询**：创建空表结构时，直接使用CREATE TABLE语句而非SELECT INTO。 12. **使用EXISTS替代IN**：对于子查询，EXISTS通常比IN更快，因为它只需检查子查询返回至少一行，而不需要获取实际的值。 ...
mysql怎样实现两张表的并列合并？
热门推荐
dxyzhbb的博客
07-22 2万+
如图有表A，字段A.1,A.2,A.3 表B，字段B.1,B.2,B.3,B.4 行数一样 想合并为一张表，行数不变，但是列扩充。 sql语句应该怎样写？ 方案一: 目标表new_table不存在，因为在插入时会自动创建表new_table， SELECT a., b. INTO new_table FROM A a, B b 方案二: 目标表new_table必须存在 INSERT INTO ...
Mysql基础教程（12）：JOIN
最新发布
WwLK123的博客
05-31 802
在 MySQL 中，JOIN 语句用于将数据库中的两个表或者多个表组合起来。
合并不同服务器的数据表（thinkphp5+mysql）
chenyao博客
10-12 761
本认第一次写博客，可能有些地方表达不清晰，望大家见谅； 最近业务有个需求，需要将不同渠道的会员信息合并在一起，然后插入一张表中（每个渠道的会员数据在不同服务器，这点是操蛋的）   自己先百度了一哈，网上好像没有此类的文章，所以自己决定把这次的经验分享出来； 先说哈自己的整体思路： 先把其它服务器的数据库表复制映射到本地 合并成一张表 循环合并的数据插入到本地数据库表中并处理自己业务的...
一个字段能根据不同需求拆分成不同的列_填报之动态扩展列
weixin_39865061的博客
12-18 184
在填报开发中，常见的填报表样式有很多，其中就包含了网格式填报、交叉填报等，如下图这种大多都是单一数据来源，进行取数回填的，基本不涉及在报表中处理数据表间的关联分组等复杂情况。下面我们通过一个具体的实例来看一下如何制作这种复杂的填报表 – 动态列。需求说明如下图表格中左右用不同颜色划分出了两块：分别是 A-D(蓝色部分)、E-V(黄色部分)其中： A-D 为固定列，数据来源于数据库表 report_...
mysql结构相同的数据表，数据合并到一个表
mangrandi的专栏
10-30 7554
1、拼接生成批量插入语句 SELECT concat('insert into ordertarget(字段名) select 字段名 from ',table_name,';') FROM information_schema.TABLES WHERE table_name LIKE 'ecommerceorder_%' AND table_name &lt;&gt; '目标表'; 2、如...
SqlBalance3 MySQL 数据库比较
07-08
SqlBalance3 MySQL 数据库比较工具是一款专为MySQL数据库设计的实用型软件，它允许用户进行数据库之间的表结构、字段、索引以及数据类型的对比。在数据库管理与开发过程中，这样的工具至关重要，因为它可以帮助...
mysql_help.zip_MYSQL_Variety_crowdpsr
09-15
使用`CREATE TABLE`语句来定义表结构，包括字段名、数据类型、主键等。`ALTER TABLE`用于修改已存在的表结构，`DROP TABLE`则用于删除表。 4. **索引**： 索引可以极大提升查询速度。MySQL支持不同类型的索引，如...
有关mysql文章教程.rar_MYSQL_mysql教程
09-23
此外，JOIN用于合并多个表的数据，GROUP BY和HAVING用于数据分组，ORDER BY和LIMIT用于排序和限制结果数量。 六、索引与优化 索引可以显著提高查询性能，常见的索引类型有B-Tree、Hash和Full-text。应合理创建索引...
PHP-mysqlSchemaDiff:基于元数据 mysql 表和模式转储比较的 MySQL 模式差异
07-09
1. **元数据获取**：首先，工具连接到MySQL服务器，并从信息_schema表中提取数据库的元数据，这些元数据包括表结构、字段类型、索引、外键等信息。 2. **模式转储比较**：同时，它也读取用户提供的模式转储文件...
mysql中合并两个字段的方法分享
09-11
mysql中怎么合并两个字段为一个字段呢？试了好多方法，结果还是不是我想要的
mysql把两个字段合并到一个字段中
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
11-17 1万+
mysql怎样把两个字段合并成一个字段输出? CONCAT(str1,str2,…)：返回结果为连接参数产生的字符串。如有任何一个参数为NULL，则返回值为NULL CONCAT_WS(separator,str1,str2,...)：代表CONCATWithSeparator，是CONCAT()的特殊形式，第一个参数...
MySQL字段内容拆分及合并
gjc592的博客
05-27 5372
点击上方蓝字关注我1. 创建测试表及数据--创建一张tb_stu表， CREATE TABLE tb_user( id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(10) COMMENT '人名', c_no VARCHAR(64) COMMENT '持剑ID，以逗号分隔' ); INSERT INTO tb_user(NA...
mysql将多行字段数值合并为一行字段数据
dongyue520的博客
10-24 5688
2.使用分组查询对jh进行分组，然后合并jl的数据，发现在mysql中使用分组查询显示的字段只能是分组查询的字段，一直不理解这个。sql语句：select * from cc as a INNER JOIN cc_copy1 as b on a.jh=b.jh;sql语句：UPDATE cc as a INNER JOIN cc_copy1 as b on a.jh=b.jh set b.#复制name，将cc取名a中表name赋值到cc_copy1取名b中表name。4.插入刚刚查询的合并结果。
MySQL字段拼接合并，字符替换。
qq_45434146的博客
04-08 374
字段log_year与log_time指定“-”做为分隔符，进行分隔合并两个字段。字段log_year从1开始到10结束截取结果，则展示一下内容。合并log_year与log_time字段。
mysql 合并 不同表数据_mysql合并表的数据
weixin_39812224的博客
02-01 617
有2张表 每张表大概1500W的数据表一字段：id pid name....表二字段：id pid age....现在要将表的数据合并了id pid name age...怎么样实现比较好回复内容：有2张表 每张表大概1500W的数据表一字段：id pid name....表二字段：id pid age....现在要将表的数据合并了id pid name age...怎么样实现比较好假设age这张...
SQL 将两张包含相同字段和不同字段的表数据合并成一张表
轻庐踏雪
01-26 2万+
此为SQL案例：将两张具备相同字段，有一部分字段不相同的两张表获取查询结果为整合之后的。 两张表 table1 table2 我想要将两者的数据进行合并达到如下的效果： 这里限制条件有两个分别是date，code 两个，只有当两者都对应上才能达到我想要的效果。于是我绞尽脑汁也想不出来该如何去解决问题。 于是乎，我又重新回到了起点。（我跑去看菜鸟教程了） 可能是我原来没仔细看吧，终于让我发现了一个解决问题的方式，果然回归原始的基础，还是能解决很多问题的。 菜鸟教程 我先把table1的所有数据和tab
MySql查询一张表中不同字段组装成新字段
csdnlaiyanqi的博客
03-30 1317
MySql查询一张表中不同字段再组装成新字段 SELECT t1.alert_des_data, t2.alert_level_data FROM ( SELECT alert_des_data FROM test_dhfk ) t1, ( SELECT alert_level_data FROM test_dhfk ) t2 alert_des_data alert_level_data 无 1 ...
MySQL基础与操作指南：数据表创建、删除与查询
4. **创建表（DDL）**：使用`CREATE TABLE`语句定义数据表，如`CREATE TABLE student_message`，包含了字段如`student_id`、`student_name`等，并设置了主键和约束条件。 5. **删除表（DML）**：`DROP TABLE table_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值