ClickHouse从mysql同步数据

1, 按照ClickHouse的建表规范进行建表,

      注意: a, ClickHouse区分大小写,如string要写为String

                  b, 确认好字段是否有Null,如果有,CH中要定义位Nullable(String/IntX)

 如: 

CREATE TABLE sg_bury_point (
  id Int64 COMMENT '主键',
  erp Nullable(String)  COMMENT '登录ERP',
  app_name Nullable(String) COMMENT '触发APP名称',
  app_bundleIdentifier Nullable(String) COMMENT '触发APP ID',
  client Nullable(String) COMMENT 'apple/android',
  client_version Nullable(String) DEFAULT '' COMMENT '当前客户端版本号',
  department Nullable(String) DEFAULT '' COMMENT '部门',
  module_name Nullable(String) COMMENT '触发模块名称',
  current_page_name Nullable(String) COMMENT '触发页面',
  device_uuid Nullable(String) COMMENT '触发设备UUID',
  device_name Nullable(String) COMMENT '设备名称',
  device_brand Nullable(String) COMMENT '设备品牌',
  device_osversion Nullable(String) COMMENT '设备系统版本',
  device_partner Nullable(String) COMMENT 'shehuihuon',
  event_id Nullable(String) COMMENT '埋点时间ID',
  mta_type Nullable(Int8)  COMMENT '埋点类型:1点击2曝光3自定义',
  tool_id Nullable(String) COMMENT '工具ID',
  json_param Nullable(String) COMMENT '自定义埋点',
  event_function Nullable(String) COMMENT 'shiji',
  event_type Nullable(String) COMMENT 'shiji',
  event_operation Nullable(String) COMMENT 'shiji',
  trigger_time Nullable(Int64)  COMMENT '埋点触发时间',
  message_ext Nullable(String) COMMENT 'shiji',
  day Int64  COMMENT '触发日',
  create_time Nullable(Int64)   COMMENT '创建时间' ) engine=MergeTree 
ORDER BY (day) SETTINGS index_granularity = 8192;

2, Insert数据

insert into sg_bury_point select * from  mysql('mysql_host:port','db_name', 'table_name','user_name','password');
Query id: 7a7fb444-b1d1-4912-8245-d9d617a41b57

Ok.

0 rows in set. Elapsed: 96.696 sec. Processed 16.17 million rows, 8.69 GB (167.21 thousand rows/s., 89.86 MB/s.) 
Query id: 6628c205-a174-4fa7-8017-a17320d6d178

┌─count(1)─┐
│ 16168774 │
└──────────┘

1 rows in set. Elapsed: 0.048 sec. 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值