同步分区表

最新推荐文章于 2024-02-19 17:02:04 发布
最新推荐文章于 2024-02-19 17:02:04 发布
阅读量956 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shushugood/article/details/52046108
版权

1.在源数据库查看表hdfs存放位置

[slave02:21000] > show create table stat_city_app_hour;
Query: show create table stat_city_app_hour
+--------------------------------------------------------------------------+
| result                                                                   |
+--------------------------------------------------------------------------+
| CREATE TABLE prestat.stat_city_app_hour (                                |
|   timevalue TIMESTAMP,                                                   |
|   rat STRING,                                                            |
|   city STRING,                                                           |
|   app_sub_type STRING,                                                   |
|   kpi_nbrdnsresreq BIGINT,                                               |
|   kpi_nbrdnsressucc BIGINT,                                              |
|   kpi_dnsresdelay DOUBLE,                                                |
|   kpi_nbrtcpconn1streq BIGINT,                                           |
|   kpi_nbrtcpconn1stsucc BIGINT,                                          |
|   kpi_nbrtcpconn2ndsucc BIGINT,                                          |
|   kpi_tcpconn1stdelay DOUBLE,                                            |
|   kpi_tcpconn2nddelay DOUBLE,                                            |
|   kpi_tcpconndelay DOUBLE,                                               |
|   kpi_tcpulpacketcnt BIGINT,                                             |
|   kpi_tcpdlpacketcnt BIGINT,                                             |
|   kpi_tcpulretranscnt BIGINT,                                            |
|   kpi_tcpdlretranscnt BIGINT,                                            |
|   kpi_nbrtcpulrtt BIGINT,                                                |
|   kpi_tcpulrttdelay DOUBLE,                                              |
|   kpi_nbrtcpdlrtt BIGINT,                                                |
|   kpi_tcpdlrttdelay DOUBLE,                                              |
|   kpi_ultranoctets DOUBLE,                                               |
|   kpi_dltranoctets DOUBLE,                                               |
|   kpi_nbrwebreq BIGINT,                                                  |
|   kpi_nbrwebressucc BIGINT,                                              |
|   kpi_webresdelay DOUBLE,                                                |
|   kpi_nbrwebopensucc BIGINT,                                             |
|   kpi_webopendelay DOUBLE,                                               |
|   kpi_webdlvalidoctets DOUBLE,                                           |
|   kpi_webdlvaliddelay DOUBLE,                                            |
|   kpi_web_over50kbcnt BIGINT,                                            |
|   kpi_web_over5mbcnt BIGINT,                                             |
|   kpi_web_less100kbpscnt BIGINT,                                         |
|   kpi_web_100_200kbpscnt BIGINT,                                         |
|   kpi_web_200_500kbpscnt BIGINT,                                         |
|   kpi_web_500_1mbpscnt BIGINT,                                           |
|   kpi_web_over1mbpscnt BIGINT,                                           |
|   kpi_web_over2mbpscnt BIGINT,                                           |
|   kpi_web_over3mbpscnt BIGINT,                                           |
|   kpi_web_over4mbpscnt BIGINT,                                           |
|   kpi_web_over5mbpscnt BIGINT,                                           |
|   kpi_web_over0mscnt BIGINT,                                             |
|   kpi_web_less500mscnt BIGINT,                                           |
|   kpi_web_500_1scnt BIGINT,                                              |
|   kpi_web_1_2scnt BIGINT,                                                |
|   kpi_web_2_3scnt BIGINT,                                                |
|   kpi_web_over3scnt BIGINT,                                              |
|   kpi_nbrvideoreq BIGINT,                                                |
|   kpi_nbrvideoressucc BIGINT,                                            |
|   kpi_initbufferduration DOUBLE,                                         |
|   kpi_initbuffercnt BIGINT,                                              |
|   kpi_videobufferduration DOUBLE,                                        |
|   kpi_videobuffercnt BIGINT,                                             |
|   kpi_videobufferservcnt BIGINT,                                         |
|   kpi_videodloctets DOUBLE,                                              |
|   kpi_videodlduration DOUBLE,                                            |
|   kpi_dnsressuccratio DOUBLE,                                            |
|   kpi_avgdnsresdelay DOUBLE,                                             |
|   kpi_tcpconn1stratio DOUBLE,                                            |
|   kpi_avgtcpconn1stdelay DOUBLE,                                         |
|   kpi_tcpconn2ndratio DOUBLE,                                            |
|   kpi_avgtcpconn2nddelay DOUBLE,                                         |
|   kpi_tcpconnsuccratio DOUBLE,                                           |
|   kpi_avgtcpconndelay DOUBLE,                                            |
|   kpi_tcpulretransratio DOUBLE,                                          |
|   kpi_tcpdlretransratio DOUBLE,                                          |
|   kpi_avgtcpulrttdelay DOUBLE,                                           |
|   kpi_avgtcpdlrttdelay DOUBLE,                                           |
|   kpi_tranoctets DOUBLE,                                                 |
|   kpi_webresratio DOUBLE,                                                |
|   kpi_avgwebresdelay DOUBLE,                                             |
|   kpi_nbrwebopenratio DOUBLE,                                            |
|   kpi_avgwebopendelay DOUBLE,                                            |
|   kpi_avgwebdlrate DOUBLE,                                               |
|   kpi_web_e2e_excellentrate DOUBLE,                                      |
|   kpi_web_e2e_goodrate DOUBLE,                                           |
|   kpi_web_e2e_poorrate DOUBLE,                                           |
|   kpi_web_e2e_promptnessrate DOUBLE,                                     |
|   kpi_web_e2e_hysteresisrate DOUBLE,                                     |
|   kpi_videoressuccratio DOUBLE,                                          |
|   kpi_avginitbufferduration DOUBLE,                                      |
|   kpi_avgvideobufferduration DOUBLE,                                     |
|   kpi_avgvideobuffercnt DOUBLE,                                          |
|   kpi_videobufferrate DOUBLE,                                            |
|   kpi_avgperminutebuffercnt DOUBLE,                                      |
|   kpi_avgvideodlrate DOUBLE,                                             |
|   kpi_avgpergbbuffercnt DOUBLE                                           |
| )                                                                        |
| PARTITIONED BY (                                                         |
|   day STRING,                                                            |
|   minute STRING                                                          |
| )                                                                        |
| STORED AS PARQUET                                                        |
| LOCATION 'hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour' |
| TBLPROPERTIES ('transient_lastDdlTime'='1469542084')                     |
+--------------------------------------------------------------------------+
Fetched 1 row(s) in 0.04s
[slave02:21000] >

位置=LOCATION 'hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour'


2.

格式：hadoop dfs -get [-ignorecrc] [-crc] <src><localdst>

作用：将文件拷贝到本地文件系统。CRC 校验失败的文件可通过-ignorecrc 选项拷贝。

文件和CRC 校验和可以通过-crc 选项拷贝

在源端把文件down到本地，执行以下命令

hadoop dfs -get hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour /root/export_ml


3.把文件打包，ftp传送到目的端


4.把文件传送到hdfs上, 执行以下命令 

hadoop dfs -put  /root/export_ml/stat_city_app_hour/ hdfs://CQtest/user/hive/warehouse/prestat.db/


5.在源端查看有哪些分区，整理增加分区语句。

[slave02:21000] > show partitions stat_city_app_hour;
Query: show partitions stat_city_app_hour
+----------+--------+-------+--------+---------+--------------+-------------------+---------+-------------------+----------------------------------------------------------------------------------------+
| day      | minute | #Rows | #Files | Size    | Bytes Cached | Cache Replication | Format  | Incremental stats | Location                                                                               |
+----------+--------+-------+--------+---------+--------------+-------------------+---------+-------------------+----------------------------------------------------------------------------------------+
| 20160726 | 2100   | 21158 | 1      | 4.13MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160726/minute=2100 |
| 20160726 | 2200   | 20637 | 1      | 3.98MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160726/minute=2200 |
| 20160726 | 2300   | 0     | 1      | 2.27KB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160726/minute=2300 |
| 20160727 | 0000   | 18622 | 1      | 3.43MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0000 |
| 20160727 | 0100   | 17040 | 1      | 2.99MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0100 |
| 20160727 | 0200   | 16045 | 1      | 2.75MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0200 |
| 20160727 | 0300   | 15168 | 1      | 2.56MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0300 |
| 20160727 | 0400   | 15366 | 1      | 2.60MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0400 |
| 20160727 | 0500   | 16856 | 1      | 2.96MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0500 |
| 20160727 | 0600   | 18697 | 1      | 3.41MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0600 |
| 20160727 | 0700   | 20225 | 1      | 3.80MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0700 |
| 20160727 | 0800   | 21232 | 1      | 4.08MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0800 |
| 20160727 | 0900   | 21614 | 1      | 4.20MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=0900 |
| 20160727 | 1000   | 21802 | 1      | 4.26MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=1000 |
| 20160727 | 1100   | 21903 | 1      | 4.29MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=1100 |
| 20160727 | 1200   | 21718 | 1      | 4.28MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=1200 |
| 20160727 | 1300   | 21533 | 1      | 4.19MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=1300 |
| 20160727 | 1400   | 21555 | 1      | 4.18MB  | NOT CACHED   | NOT CACHED        | PARQUET | false             | hdfs://myha/user/hive/warehouse/prestat.db/stat_city_app_hour/day=20160727/minute=1400 |
| Total    |        | -1    | 18     | 62.07MB | 0B           |                   |         |                   |                                                                                        |
+----------+--------+-------+--------+---------+--------------+-------------------+---------+-------------------+----------------------------------------------------------------------------------------+



整理成 

alter table stat_city_app_hour add partition (day='20160726',minute='2100');
 alter table stat_city_app_hour add partition (day='20160726',minute='2200');
 alter table stat_city_app_hour add partition (day='20160726',minute='2300');
 alter table stat_city_app_hour add partition (day='20160727',minute='0000');
 alter table stat_city_app_hour add partition (day='20160727',minute='0100');
 alter table stat_city_app_hour add partition (day='20160727',minute='0200');
 alter table stat_city_app_hour add partition (day='20160727',minute='0300');
 alter table stat_city_app_hour add partition (day='20160727',minute='0400');
 alter table stat_city_app_hour add partition (day='20160727',minute='0500');
 alter table stat_city_app_hour add partition (day='20160727',minute='0600');
 alter table stat_city_app_hour add partition (day='20160727',minute='0700');
 alter table stat_city_app_hour add partition (day='20160727',minute='0800');
 alter table stat_city_app_hour add partition (day='20160727',minute='0900');
 alter table stat_city_app_hour add partition (day='20160727',minute='1000');
 alter table stat_city_app_hour add partition (day='20160727',minute='1100');
 alter table stat_city_app_hour add partition (day='20160727',minute='1200');
 alter table stat_city_app_hour add partition (day='20160727',minute='1300');
 alter table stat_city_app_hour add partition (day='20160727',minute='1400');


6.在目标数据库 执行以上语句


--7.查看数据是否生成。

[slave2:21000] > select count(*) from  prestat.stat_city_app_hour ;
Query: select count(*) from  prestat.stat_city_app_hour
+----------+
| count(*) |
+----------+
| 309616   |
+----------+
Fetched 1 row(s) in 1.01s
[slave2:21000] > select day,minute from prestat.stat_city_app_hour group by day,minute ;
Query: select day,minute from prestat.stat_city_app_hour group by day,minute
+----------+--------+
| day      | minute |
+----------+--------+
| 20160727 | 0400   |
| 20160727 | 1000   |
| 20160727 | 0900   |
| 20160727 | 1200   |
| 20160727 | 0600   |
| 20160727 | 1100   |
| 20160727 | 0200   |
| 20160726 | 2100   |
| 20160726 | 2200   |
| 20160727 | 0000   |
| 20160727 | 0500   |
| 20160727 | 0100   |
| 20160727 | 0300   |
| 20160727 | 0800   |
| 20160727 | 1300   |
| 20160727 | 0700   |
+----------+--------+


--8.完成。


-9.后续会有自动同步shell脚本

4.把文件打包，传送到目的端
老农民挖数据
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux 同步分区表,分区工具fdisk和gdisk、同步分区表（到内存）
weixin_34775101的博客
05-02 938
fdisk 创建MBR分区gdisk 创建GPT分区parted 高级分区操作(创建、复制、调整大小等)centos7:手动创建分区20g,30g,40g(易区分)lsblkcat /proc/partitionsls -l /dev/sd*以上三个命令是查看内存中的硬盘，即内核是否已经识别新的分区；如果手动创建硬盘之后，利用以上的三个命令，不会看到手动创建的硬盘；echo ‘- –...
db2分区表在线迁移
04-13
本主题聚焦于“db2分区表在线迁移”，这是一个关键的数据库操作，旨在确保业务连续性和数据安全性，同时最小化对正常服务的影响。下面我们将深入探讨DB2分区表的概念、在线迁移的重要性以及实现这一过程的策略和技术...
MySQL结构同步时分区表无法同步的问题
時を越える笑顔
03-06 1355
最近在忙活着组建一主一从的MySQL复制，发现有这么一个问题。其他数据表的自动复制都是正常的，唯独分区表的主从复制不正常。为了重新让主库向从库同步正确的数据，首先需要通过一个数据库管理客户端进行结构同步。但是在这个过程中，因为使用的是SQL的行复制，中间依然出现了分区表不能复制的状况。 为了解决这一问题，查阅了大量博客、书籍和资料后，在一个论坛上找到了答案。那就是在/etc/mysql/my.c
golang mysql 表分区_使用Golang实现MySQL数据库之间的表同步
weixin_42389043的博客
01-26 355
这是用来实现两个MySQL数据库中的具有相同字段表的增量同步。支持按照某种格式增量获取表中的待同步数据。支持按照列名称向数据库的表中批量插入待同步的数据。安装go get -u gitee.com/xiaochengtech/dbsync数据库配置在每一张需要同步的表中，应该有一个update_time更新时间的非空字段(名字可以不一样，但是类型必须是时间相关类型)，用来按照更新时间获取最新的更新...
OGG 分区表
u013165852的博客
04-14 511
1.源端 CREATE TABLE RANGETABLE ( idd INT PRIMARY KEY , iNAME VARCHAR(10), grade INT ) PARTITION BY RANGE (grade) ( PARTITION part1 VALUES LESS THAN (100)...
mysql-主从同步+分库分表
yang_zzu的博客
10-31 462
myCate 或 sharding-sphere 中间件，实现主库写，从库读，分库分表 同步方式 after_Commit 主库写入日志到binLog, 等待binLog复制到从库，主库提交自己的本地事务，等待从库返回成功的响应，然后主库返回提交事务成功的响应给客户端 MySQL 5.7 默认方式，主库把日志写入binLog, 并且复制给从库，然后开始等待从库的响应，从库返回说成功给主库了，主库再提交事务，接着返回提交事务成功的响应给客户端 实现方式 方式1 传统方式，搭建半同步复制：..
oracle普通表转化为分区表的方法
09-09
Oracle数据库中的分区表是一种高级的表组织形式，它将大表分成多个较小的部分，每个部分称为一个分区，以提高查询性能和管理效率。当表的大小超过2GB时，官方推荐使用分区表，因为它们在处理大量数据时具有显著优势...
oracle_分区表数据定期迁移到其他数据库测试方案
08-26
根据提供的标题、描述、标签及部分内容，我们可以了解到这项工作主要关注的是如何将Oracle数据库中的分区表数据定期迁移到另一个数据库，并且对整个过程进行了详细的技术规划。以下是对这些信息进行整理后得到的关键...
分区表和分区视图.docx
03-09
【分区表和分区视图】是数据库管理系统中用于管理和优化大规模数据的一种技术，尤其是在SQL Server 2000中得到了广泛应用。分区表是将一个大表按照特定的策略（通常是根据某个或某些列的值）划分为多个较小的、独立...
同步mysql表结构.zip
07-27
8. **性能优化**：同步过程中可能需要考虑性能问题，例如在高峰期避开大量写入操作，或者对大表进行分区以加速同步。 9. **数据一致性**：同步不只是结构，还应考虑数据的一致性。在某些场景下，可能需要数据迁移，...
MySQL优化--主从同步，分库分表
qq_53868937的博客
06-22 683
MySQL主从同步原理如果项目上线了，通常情况下，会去搭建主从的架构，一个JAVA应用，首先要去廉价而数据库的中间件，中间件其中至少连接了两个库。当主库写数据的时候，就要把数据到从库，那是如何进行同步的呢？原理又是什么呢?
oracle 10.2.0.5,如何快速把普通表变更为分区表，并且同步复制普通表上面依赖对象呢？...
08-03 120
1,数据库版本 SQL> select * from v$version; BANNER ------------------------------------------...
dataX_from_mysql_to_hive orc分区表
超的专栏
06-07 795
datax导入，datax导入关系数据库数据到hive分区表，datax mysql导入到hive orc格式的分区表
【DolphinScheduler】datax读取hive分区表时，空分区、分区无数据任务报错问题解决
Alex的博客
01-11 1586
【DolphinScheduler】datax读取hive分区表时，空分区、分区无数据任务报错问题解决。 最近在使用海豚调度DolphinScheduler的Datax组件时，遇到这么一个问题：之前给客户使用海豚做的离线数仓的分层搭建，一直都运行好好的，过了个元旦，这几天突然在数仓做任务时报错
DataX实现数据同步(分区处理)
最新发布
zxcvbnm0207的博客
02-19 741
3、这里有一个坑，就是你在指明分区路径的时候，这时候分区是已经存在了的，不然DataX就会报错没有这个路径，可以自己先创建分区，由于是按照每日新增数据来进行分区管理的，因此这里可以手动创建分区。之前使用DataX来实现数据的同步，只是将数据送到了指定的位置，但是并没有分区处理，这样当数据多了的时候就不是可以很方便的管理数据了，因此，可以增设一个分区来对数据进行处理。2、接下来就是进行json文件的配置了，跟我上一篇的配置大同小异，但是在路径中稍有变动。这个时候在使用DataX的时候就不会再报错了。
ORACLE GoldenGate同步时更新分区字段值的问题
还不算晕的专栏
05-19 950
UPDATE更新分区表的分区字段，使一条数据发生变化，按分区规划使此行数据需要放在其它分区时，需要打开row movement,才可以继续。 示例如下： 源端更新语句： SQL> update t1 set id=22 where id=2; 1 row updated. SQL> commit; Commit complete. 目标端原有分区规则： CREATE TABLE "BYST1"."T1" ( "ID" NUMBER, "NAME" VARCH
ogg由于表分区字段修改引起同步异常后的修复
还不算晕的专栏
01-26 1588
维护的一套两个单实例做的OGG同步库又出问题了，巡检发现OGG备库rep进程已经异常将近一周了。通过view report repl命令可以查看此进程的支持报告信息(直接在Report files ./dirrpt看相应的文件也是可以的，或者看错误日志原文件)，原因比较直接，是主库修改了同步进程中一个分区表的分区字段，备库日志报错(没有开启DDL同步)。 找到原因后从备库REP进程配置文件中...
Hive动态分区
weixin_34104341的博客
03-13 2368
Hive动态分区 一）hive中支持两种类型的分区： 静态分区SP（static partition） 动态分区DP（dynamic partition） 静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。详细来说，静态分区的列实在编译时期，通过用户传递来决定的；动态分区只有在SQL执行时才能决定。 二）实战演示如何在...
MySQL hash分区表主从同步延迟
aeoluspu的专栏
05-29 612
delete hash分区表删除数据，主从延迟1   hash 分区不能删除2  在5.7.20版本以上表现较好3 分区越多 dml扫描分区表越多 延迟越厉害bug参考https://bugs.mysql.com/bug.php?id=73648...
doris 分区表同步慢
05-26
5. 未启用增量同步：如果您未启用增量同步，每次同步都需要将所有数据复制到目标数据库，这会导致同步变慢。您可以考虑启用增量同步以减少同步时间。 希望这些解决方法能够帮助您解决同步慢的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值