clickhouse做mysql从库_clickhouse编译安装以及搭建mysql实时复制（20200909）

最新推荐文章于 2024-06-03 12:02:09 发布
最新推荐文章于 2024-06-03 12:02:09 发布
阅读量241 收藏
点赞数
文章标签： clickhouse做mysql从库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36256978/article/details/113560344
版权

mysql> create database clickhouse;

mysql> use clickhouse;

mysql> CREATE TABLE `sbtest1` (

`id` int(10) unsigned NOT NULL AUTO_INCREMENT,

`k`int(10) unsigned NOT NULL DEFAULT '0',

`c`char(120) NOT NULL DEFAULT '',

`pad`char(60) NOT NULL DEFAULT '',

PRIMARY KEY (`id`),

KEY `k_1` (`k`)

) ENGINE= InnoDB AUTO_INCREMENT = 5000001 DEFAULT CHARSET = utf8mb4 MAX_ROWS = 1000000;

mysql> INSERT INTO `sbtest1` VALUES (1,49929,'83868641912-28773972837-60736120486-75162659906-27563526494-20381887404-41576422241-93426793964-56405065102-33518432330','67847967377-48000963322-62604785301-91415491898-96926520291'),(2,50198,'38014276128-25250245652-62722561801-27818678124-24890218270-18312424692-92565570600-36243745486-21199862476-38576014630','23183251411-36241541236-31706421314-92007079971-60663066966'),(3,50427,'33973744704-80540844748-72700647445-87330233173-87249600839-07301471459-22846777364-58808996678-64607045326-48799346817','38615512647-91458489257-90681424432-95014675832-60408598704'),(4,50202,'37002370280-58842166667-00026392672-77506866252-09658311935-56926959306-83464667271-94685475868-28264244556-14550208498','63947013338-98809887124-59806726763-79831528812-45582457048'),(5,49982,'44257470806-17967007152-32809666989-26174672567-29883439075-95767161284-94957565003-35708767253-53935174705-16168070783','34551750492-67990399350-81179284955-79299808058-21257255869'),(6,50059,'37216201353-39109531021-11197415756-87798784755-02463049870-83329763120-57551308766-61100580113-80090253566-30971527105','05161542529-00085727016-35134775864-52531204064-98744439797'),(7,50138,'33071042495-29920376648-91343430102-79082003121-73317691963-02846712788-88069761578-14885283975-44409837760-90760298045','91798303270-64988107984-08161247972-12116454627-22996445111'),(8,49994,'73754818686-04889373966-18668178968-56957589012-31352882173-91882653509-59577900152-88962682169-52981807259-62646890059','76460662325-41613089656-42706083314-81833284991-17063140920'),(9,52727,'26482547570-00155460224-12388481921-23289186371-78242522654-77998886134-73270876420-50821093220-31442690639-11588920653','30508501104-50823269125-88107014550-70202920684-95842308929'),(10,50338,'05677017559-47107518969-97509137401-28934334557-14497052050-61906823704-44077628507-24840441785-05187301456-27797851637','29489382504-13697582598-09964978366-26554639515-36136545002'),(11,54956,'69916792160-36263343577-60040896157-93749675091-85349848150-51324584648-99894376828-35106327881-24322876464-85736660000','87387995487-76363627904-22109071019-39590329504-09541621871'),(12,48776,'06636928111-91412549319-87017689961-79500497523-29051692073-64380774874-78643769852-73373361096-34215043106-34370178281','89292458800-98111883088-45119613990-18776802947-72334127545'),(13,45018,'66692787527-64669315176-31954384866-40167063199-20714065413-78429761915-37156169484-48536455204-68184091915-53509501438','38086179531-74613680033-74030836539-16618852001-68255032383'),(14,49947,'03057970397-76844598219-57919615042-40446066254-53006176529-07928677880-76521527831-33188464243-14751964794-48299542958','58289547349-70221859996-98108169071-42919560989-03199891667'),(15,49758,'46727919633-45146044920-86415428832-97681745441-41127226689-79274197453-43262911115-03302568793-24793907254-41889251160','16558229746-31933003433-90307278632-58399899267-20471559033'),(16,62371,'66674934079-61932070973-59260913966-95805894865-93643781508-42542760387-65244531372-94908882784-73015194138-09444593269','57753529930-52222322149-80867581160-08150406969-39000857332'),(17,49789,'42863854528-01081829164-15763552981-12403743290-73250276677-11227646213-34508938444-96091116410-30361051807-02401305678','30113872711-60560384806-74864932945-57589062046-96056547221'),(18,49766,'82991834540-27107960725-55255797929-15631102224-93218976341-02587259718-39218801679-60059023868-06269782489-88220383890','22351958118-81193937039-05255492720-04288594638-80971142475'),(19,49987,'50775217476-73338282083-95609959533-46458517058-43224921897-04845035863-09371954537-79862351894-56643259241-35384026860','56408658831-01630576472-82254536572-63286619302-57396238088'),(20,50108,'82095294113-46718689069-93751429117-94982456004-28879831505-39496075815-87005112245-60372548581-07992589471-35458088958','78183819052-54767035794-64034000286-75682734084-27025271045'); ---sysbench数据

clickhouse>use sbtest;

clickhouse> show tables;

SHOW TABLES

┌─name────┐

│ sbtest1 │

└─────────┘

1 rows in set. Elapsed: 0.002 sec.

clickhouse>

select * from sbtest1;

SELECT *

FROM sbtest1

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 12 │ 48776 │ 06636928111-91412549319-87017689961-79500497523-29051692073-64380774874-78643769852-73373361096-34215043106-34370178281 │ 89292458800-98111883088-45119613990-18776802947-72334127545 │

│ 3 │ 50427 │ 33973744704-80540844748-72700647445-87330233173-87249600839-07301471459-22846777364-58808996678-64607045326-48799346817 │ 38615512647-91458489257-90681424432-95014675832-60408598704 │

│ 16 │ 62371 │ 66674934079-61932070973-59260913966-95805894865-93643781508-42542760387-65244531372-94908882784-73015194138-09444593269 │ 57753529930-52222322149-80867581160-08150406969-39000857332 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 18 │ 49766 │ 82991834540-27107960725-55255797929-15631102224-93218976341-02587259718-39218801679-60059023868-06269782489-88220383890 │ 22351958118-81193937039-05255492720-04288594638-80971142475 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 5 │ 49982 │ 44257470806-17967007152-32809666989-26174672567-29883439075-95767161284-94957565003-35708767253-53935174705-16168070783 │ 34551750492-67990399350-81179284955-79299808058-21257255869 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 6 │ 50059 │ 37216201353-39109531021-11197415756-87798784755-02463049870-83329763120-57551308766-61100580113-80090253566-30971527105 │ 05161542529-00085727016-35134775864-52531204064-98744439797 │

│ 2 │ 50198 │ 38014276128-25250245652-62722561801-27818678124-24890218270-18312424692-92565570600-36243745486-21199862476-38576014630 │ 23183251411-36241541236-31706421314-92007079971-60663066966 │

│ 10 │ 50338 │ 05677017559-47107518969-97509137401-28934334557-14497052050-61906823704-44077628507-24840441785-05187301456-27797851637 │ 29489382504-13697582598-09964978366-26554639515-36136545002 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 15 │ 49758 │ 46727919633-45146044920-86415428832-97681745441-41127226689-79274197453-43262911115-03302568793-24793907254-41889251160 │ 16558229746-31933003433-90307278632-58399899267-20471559033 │

│ 1 │ 49929 │ 83868641912-28773972837-60736120486-75162659906-27563526494-20381887404-41576422241-93426793964-56405065102-33518432330 │ 67847967377-48000963322-62604785301-91415491898-96926520291 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 17 │ 49789 │ 42863854528-01081829164-15763552981-12403743290-73250276677-11227646213-34508938444-96091116410-30361051807-02401305678 │ 30113872711-60560384806-74864932945-57589062046-96056547221 │

│ 14 │ 49947 │ 03057970397-76844598219-57919615042-40446066254-53006176529-07928677880-76521527831-33188464243-14751964794-48299542958 │ 58289547349-70221859996-98108169071-42919560989-03199891667 │

│ 8 │ 49994 │ 73754818686-04889373966-18668178968-56957589012-31352882173-91882653509-59577900152-88962682169-52981807259-62646890059 │ 76460662325-41613089656-42706083314-81833284991-17063140920 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 20 │ 50108 │ 82095294113-46718689069-93751429117-94982456004-28879831505-39496075815-87005112245-60372548581-07992589471-35458088958 │ 78183819052-54767035794-64034000286-75682734084-27025271045 │

│ 7 │ 50138 │ 33071042495-29920376648-91343430102-79082003121-73317691963-02846712788-88069761578-14885283975-44409837760-90760298045 │ 91798303270-64988107984-08161247972-12116454627-22996445111 │

│ 4 │ 50202 │ 37002370280-58842166667-00026392672-77506866252-09658311935-56926959306-83464667271-94685475868-28264244556-14550208498 │ 63947013338-98809887124-59806726763-79831528812-45582457048 │

│ 9 │ 52727 │ 26482547570-00155460224-12388481921-23289186371-78242522654-77998886134-73270876420-50821093220-31442690639-11588920653 │ 30508501104-50823269125-88107014550-70202920684-95842308929 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 19 │ 49987 │ 50775217476-73338282083-95609959533-46458517058-43224921897-04845035863-09371954537-79862351894-56643259241-35384026860 │ 56408658831-01630576472-82254536572-63286619302-57396238088 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 13 │ 45018 │ 66692787527-64669315176-31954384866-40167063199-20714065413-78429761915-37156169484-48536455204-68184091915-53509501438 │ 38086179531-74613680033-74030836539-16618852001-68255032383 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐

│ 11 │ 54956 │ 69916792160-36263343577-60040896157-93749675091-85349848150-51324584648-99894376828-35106327881-24322876464-85736660000 │ 87387995487-76363627904-22109071019-39590329504-09541621871 │

└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

20 rows in set. Elapsed: 0.004 sec.

很圆的方块
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Clickhouse】Clickhouse 外部存储引擎之 MySQL
九师兄
02-02 769
文章目录
《ClickHouse企业级应用：入门、进阶与实战》1 全面了解ClickHouse
禅与计算机程序设计艺术
01-31 1万+
近年来，ClickHouse发展势头迅猛，社区、大厂纷纷跟进使用。面对万亿级的数据查询分析也能做到亚秒级响应。那么，ClickHouse 到底是何方神圣？为什么如此受青睐？各位看官，欲知 ClickHouse 为何方神圣，且往下看。本章我们先来了解什么是ClickHouse，内容包括ClickHouse是什么，它具有哪些特性，适用哪些应用场景等。1.1 ClickHouse 概述本节介绍 ClickHouse 是什么、发展历程，以及ClickHouse在 OLAP 生态中的位置。同时，简单介绍了 OLAP
clickhouse做mysql从库_ClickHouse MaterializeMySQL 数据库引擎
weixin_30995661的博客
02-01 1280
ClickHouse20.8将新增 MaterializeMySQL引擎 ,可通过binlog日志实时物化mysql数据，极大提升了数仓的查询性能和数据同步的时效性；原有mysql中承担的数据分析工作 可交由clickhouse去做，这么做可显著降低线上mysql的负载，从此OLTP与OLAP业务实现完美融合。MaterializeMySQL database engine 支持的情况：1.支持...
centos7 安装mysql_第02期：ClickHouse 单机部署以及从 MySQL 增量同步数据
weixin_39762838的博客
11-28 164
本期作者：邓亚运37 互娱高级 DBA，负责公司 MySQL，Redis，Hadoop，Clickhouse 集群的管理和维护。背景随着数据量的上升，OLAP 一直是被讨论的话题，虽然 druid，kylin 能够解决 OLAP 问题，但是 druid，kylin 也是需要和 hadoop 全家桶一起用的，异常的笨重，再说我也搞不定，那只能找我能搞定的技术。故引进 clickhouse，关于 cl...
ClickHouse如何整合数据源：MySQL、HDFS...
最新发布
Hanko的专栏
06-03 755
ClickHouse 作为一个强大的列式数据库管理系统，支持多种数据源，使得用户能够方便地将数据导入 ClickHouse 进行存储和分析。接下来，我们需要在ClickHouse中创建一个MySQL表的映射。首先，我们需要在ClickHouse中创建一个数据库，用于存放从MySQL导入的数据。在这个命令中，我们指定了MySQL服务器的地址、数据库名、表名以及访问MySQL所需的用户名和密码。是在ClickHouse中创建的表，它将映射到MySQL中名为qrtz_job_details的表。
使用Clickhouse作为从库
xiangzhelo的博客
08-28 181
以MySQL为主数据库，使用Clickhouse作为从库，搭建过程中遇见的一些问题。
clickhouse 连接外部数据源（Mysql Kafka）
weixin_38813363的博客
02-19 2573
clickhouse连接mysql数据源 在linux123上建立好测试的数据库和表并插入数据 create database bigdataClickHouse; use bigdataClickHouse; create table student( id int, name varchar(40), age int); insert into student values(3,'jack',12); insert into student values(4,'jac
ClickHouse集群搭建及ODBC配置
shif_l的专栏
08-31 1032
ck_2shard_2replica_cluster集群名称，在使用create语句创建库和表时，需要加上 on cluster ck_2shard_2replica_cluster。同一个节点的config.xml和config2.xm中配置的不同，（同一个端口只被一个进程使用，所以config2.xml要更换端口)， tcp_port在配置集群时要用到;2个分片就是在节点上启动2个clickhouse-server进程，2个进程使用不同的端口,不同的配置文件;
ClickHouse在Linux下安装使用手册
05-04 636
ClickHouse在Linux下安装使用手册
docker 退出mysql_退出docker
weixin_35211615的博客
01-26 2250
Docker 容器镜像及其使用镜像下载、域名解析、时间同步请点击 阿里巴巴开源镜像站一、基本概念1. Docker镜像(image)Docker 镜像就是一个只读的模板。镜像可以用来创建 Docker 容器。Docker 提供了一个很简单的机制来创建镜像或者更新现有的镜像，用户甚至可以直接从其他人那里下载一个已...文章迪科斯彻2020-03-03702浏览量Docker学习之安装JDK、Tomc...
聊聊ClickHouse的开发、编译和测试
liyang910910的专栏
12-18 1383
ClickHouse为了一款性能极佳的开源OLAP数据库，在最近几年也是越来越火，除了在各大互联网公司落地生根之外，也吸引了一大批热心的贡献者。截止到v21.10版本，CH在全球一共有1064名contributor。SELECT count(1) FROM system.contributors Query id: 7cdf54f1-cb50-45c0-99b9-14d73d283e39 ┌─count()─┐ │    
docker测试运行clickhouse
JessePinkMan
01-27 238
直接用封装好的image。镜像地址 docker run -d --name my-clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 -p 9009:9009 yandex/clickhouse-server 跑起来了 [root@node104 clickhouse-server]# docker ps CONTAINER ID IMAGE COMMA
sysbench性能测试
weixin_44069857的博客
09-15 398
1、安装 上传zip包然后解压，安装步骤如下 unzip sysbench-1.0.17.zip cd sysbench-1.0.17./autogen.sh./configure make -j make install 2、测试 sysbench是否成功安装 /usr/local/sysbench-1.0.17/src/ $sysbench --version 3、创建压测账号，可以登录数据库后创建 4、准备测试数据：在/usr/share/sysbench执行 sysbench oltp_common
ClickHouse和他的朋友们（9）MySQL实时复制与实现
老叶茶馆
08-12 1302
原文出处：https://bohutang.me/2020/07/26/clickhouse-and-friends-mysql-replication/很多人看到标题还以为自己走错了夜...
使用Jmeter评估ClickHouse
dlh2002的专栏
09-16 881
Introduction ClickHouseis a data analysis and visualization tool from Yandex. It supports very fast, distributed analytics queries across large datasets (billions of rows). Sample data can be retri...
你真的懂自增主键(auto_increment)？
热门推荐
weixin_45701550的博客
06-14 4万+
   自增主键是我们在设计数据库表结构时经常使用的主键生成策略，主键的生成可以完全依赖数据库，无需人为干预，在新增数据的时候，我们只需要将主键设置为null，0或者不设置该字段，数据库就会为我们自动生成一个主键值。而且，自增主键是整数型，单调递增，对创建索引也十分友好，    自增主键使用起来方便、简单，但是你真的了解它吗？或者可以尝试回答一下几个问题？ 1.自增主键标识符 auto_increment 如何增长？ 2.并发环境下，数据库是如何保证主键值的正确性的？ 3.可以用最大主键代替count()吗？
ClickHouse系列6-CK简单使用
只是甲的博客
04-06 4862
文章目录一. 环境准备二.将MySQL大表数据复制到CK2.1 初步测试同步数据2.2 调整了所有参数后再次运行2.3 修改表结构参考: 一. 环境准备 MySQL端: mysql> select count(*) from fact_sale; +-----------+ | count(*) | +-----------+ | 767830000 | +-----------+ 1 row in set (3 min 8.65 sec) mysql> desc fact_sale;
设置主键并自动增长；设置字段自动创建当前时间；创建及删除索引
Z1998hx0919的博客
04-23 903
1、设置ID字段自动增长，并将此字段设置为主键 USE tb_test; CREATE TABLE ljh_one ( ID INT(11), name VARCHAR(25), dept_id INT(11), salary FLOAT ); ALTER TABLE 表名 ADD ID INT(16) NOT NULL PRIMARY KEY AUTO_INCREMENT FIRST; ...
Docker Canal 实战：实时同步MySQL至ClickHouse
本文关注的是如何借助Docker容器化技术，以及开源项目Canal，将MySQL数据库中的数据实时地复制到ClickHouse中。以下是实现这一目标的关键步骤和知识点： 1. MySQL用户配置： - 首先，在MySQL服务器上创建一个名为`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值