clickhouse之JDBC表引擎

clickhouse相比其他数据库的一个特点就是提供了丰富的外部表引擎，其中JDBC引擎允许clickhouse直接通过JDBC接口与外部数据库对接。借助这个特点，clickhouse的一个使用场景就是作为跨数据源的查询引擎。本文主要介绍如何在clickhouse中使用JDBC表引擎。

1. clickhouse-jdbc-bridge

要想实现JDBC表引擎的功能，clickhouse需要借助clickhouse-jdbc-bridge来提供查询代理服务。clickhouse-jdbc-bridge的github地址：https://github.com/ClickHouse/clickhouse-jdbc-bridge， 其首页上有详细的说明。本文中使用的是最新的2.0版本，其使用方法与1.0有很大不同，该项目目前推荐基于docker的安装部署，但由于我这边的环境没有docker服务，因此依然使用原生的部署方式。

• clone最新的代码，使用mvn clean package进行打包编译

• 在服务器上创建目录：mkdir clickhouse-jdbc-driver，将打好的包上传到该目录下

• 在目录下创建config子目录：mkdir clickhouse-jdbc-driver/config/datasources，在该目录下创建一个json文件，用于保存要连接的数据源信息，命名没有要求，本例中为mydb-postgresql.json，内容如下：

  {
    "mydb-postgresql": {
       "driverClassName": "org.postgresql.Driver",
       "maximumPoolSize": 3,
       "jdbcUrl": "jdbc:postgresql://<ip>:<port>/<database>",
       "dataSource": {
   		"user": "postgres",
   		"password": "postgres"
  	}
  }
  

  其中：mydb-postgresql是这个数据源的名称，后面会用到；driverClassName填写驱动类名，根据所要连接的数据库类型来填写不同的名称，maximumPoolSize是数据库连接池的大小，jdbcUrl则是该数据源的地址，替换为你要连接的数据源信息即可，user和password选项则替换为你所要连接数据库的配置即可。如有多个数据源，可以写在这一个文件中，也可以另外创建一个文件。

• 创建drivers子目录，把需要用到的驱动jar包上传到该目录下，本例使用的是postgresql-jdbc的jar包。

• 最终的目录结构如图：

• 然后你就可以启动服务啦，对于2.0版本，直接用命令：java -jar clickhouse-jdbc-bridge-2.0.2-SNAPSHOT-shaded.jar启动即可，1.0的版本还需要指定driver-path/listen-host等参数，目前已经不支持了。服务启动成功后，默认会监听9019的端口，可通过netstat -apln|grep 9019进行确认。

2. clickhouse配置

1. 创建目录/etc/clickhouse-server/config.d，如果已存在，则跳过

2. 创建文件：jdbc_bridge_config.xml，内容如下：

   <yandex>
         <jdbc_bridge>
                 <host>10.10.2.25</host>
                 <port>9019</port>
         </jdbc_bridge>
   </yandex>
   

   注：
   - host为前一步部署clickhouse-jdbc-bridge的IP地址
   - port为该服务的端口，默认为9019，一般不需要修改

3. 重启clickhouse-server服务：service clickhouse-server restart

注： 如果clickhouse为分布式部署，则需要在每个节点上都执行上述步骤。

3. 测试使用

• 登录clickhouse客户端程序，利用JDBC引擎创建一张外部表

  CREATE TABLE test.test
  (
      `province` String,
      `customer` String,
      `age` Int32,
      `count` Int32
  )
  ENGINE = JDBC('mydb-postgresql', '', 'test')
  

  其中，mydb-postgresql为clickhouse-jdbc-bridge的 config/datasoures目录下数据配置文件中指定的名称；第二个字段为schema的名称，本例为空；test为对应的PG中的库表，此处还可以填充一个SQL表达式。

• 访问该表，发现内容与对应的PG表中的内容一致。