quicksql安装与调试

quicksql是360开源出来的可以跨数据源进行sql操作的计算框架. 底层使用spark/flink实现.

下载 quicksql安装包

 https://github.com/Qihoo360/Quicksql/tree/branch-0.7

解压缩安装包

  cd /data/qsql/opt
  tzr -zxvf qsql-0.7.0.tar.gz
  cd qsql-0.7.0

修改配置

  vim metadata.properties
修改以下内容
  meta.storage.mode=extern
  meta.extern.schema.driver    = com.mysql.jdbc.Driver
  meta.extern.schema.url       = jdbc:mysql://host:3306/test_qsql_219?useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai
  meta.extern.schema.user      = ******
  meta.extern.schema.password  = ******

  vim quicksql-env.sh
修改以下内容
 export SPARK_HOME=/data/spark/opt/spark-2.2.1
 export JAVA_HOME=/usr/local/java/jdk1.8.0_261
 export FLINK_HOME=/opt/flink/flink-1.11.1

启动quicksql

  ./bin/quicksql-server.sh start P 5888 R spark M local[3]

至此, 启动quicksql安装完成, 并且启动成功

  查看日志, 找到连接的jdbc信息.
  less ./logs/stdout.log
  日志最后一行:
  jdbc:quicksql:url=http://VM-32-11-centos:5888

使用jdbc连接quicksql,来操作
引入依赖(clife-qsql-client.jar 这个包在安装包中可以找到, 直接引入即可)

       <dependency>
            <groupId>com.qihoo.qsql</groupId>
            <artifactId>clife-qsql-client</artifactId>
            <version>0.7.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/qsql-client-0.7.0.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.calcite.avatica</groupId>
            <artifactId>avatica-server</artifactId>
            <version>1.12.0</version>
        </dependency>

按照jdbc的日常操作,来执行sql即可.