编辑
此处为开源.
帮助改进.
作者：一剑飘雪
ClickHouseReader 插件文档
1 快速介绍
ClickHouseReader插件实现了从ClickHouse读取数据。在底层实现上，ClickHouseReader通过JDBC连接远程ClickHouse数据库，并执行相应的sql语句将数据从ClickHouse库中SELECT出来。
不同于其他关系型数据库，ClickHouseReader不支持FetchSize.(截止ClickHouse-jdbc版本0.1.48为止)
2 实现原理
简而言之，ClickHouseReader通过JDBC连接器连接到远程的ClickHouse数据库，并根据用户配置的信息生成查询SELECT SQL语句，然后发送到远程ClickHouse数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。
对于用户配置Table、Column、Where的信息，ClickHouseReader将其拼接为SQL语句发送到ClickHouse数据库；对于用户配置querySql信息，ClickHouseReader直接将其发送到ClickHouse数据库。
3 功能说明
3.1 配置样例
配置一个从ClickHouse数据库同步抽取数据到本地的作业:
{
"job": {
"setting": {
"speed": {
"channel": 3
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "clickhousereader",
"parameter": {
"username": "root",
"password": "root",
"column": [
"id",
"name"
],
"splitPk": "db_id",
"connection": [
{
"table": [
"table"
],
"jdbcUrl": [
"jdbc:clickhouse://127.0.0.1:8123/default"
]
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"print":true
}
}
}
]
}
}
配置一个自定义SQL的数据库同步任务到本地内容的作业：
{
"job": {
"setting": {
"speed": {
"channel":1
}
},
"content": [
{
"reader": {
"name": "clickhousereader",
"parameter": {
"username": "root",
"password": "root",
"connection": [
{
"querySql": [
"select db_id,on_line_flag from db_info where db_id < 10;"
],
"jdbcUrl": [
"jdbc:clickhouse://127.0.0.1:8123/default"
]
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"print": false,
"encoding": "UTF-8"
}
}
}
]
}
}
3.2 参数说明
jdbcUrl
描述：描述的是到对端数据库的JDBC连接信息，使用JSON的数组描述，并支持一个库填写多个连接地址。之所以使用JSON数组描述连接信息，是因为阿里集团内部支持多个IP探测，如果配置了多个，ClickHouseReader可以依次探测ip的可连接性，直到选择一个合法的IP。如果全部连接失败，ClickHouseReader报错。 注意，
最低0.47元/天 解锁文章
3865
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
