Clickhouse与Mybatis相结合

        前段时间由于工作需要，在项目上使用了clickhouse作为存储介质，用来存储原始数据，由于时间仓促又仅仅是存储原始数据，所以将功能简单的实现了一下。不过随着项目的进行，存入clickhouse的数据总类越来越多，导致代码十分混乱，每个功能都在创建自己的DataSource，冗余的代码很多，后期维护起来必然是个坑。所以周末花了点时间将Clickhouse和Mybatis进行整合，在此做个记录。

该功能是基于Maven工程的，引入如下依赖包：

<dependency>
   <groupId>org.mybatis</groupId>
   <artifactId>mybatis</artifactId>
   <version>3.5.5</version>
</dependency>
<dependency>
   <groupId>ru.yandex.clickhouse</groupId>
   <artifactId>clickhouse-jdbc</artifactId>
   <version>0.3.1</version>
</dependency>
<dependency>
   <groupId>com.zaxxer</groupId>
   <artifactId>HikariCP</artifactId>
   <version>3.4.5</version>
</dependency>

 初始化initSessionFactory()，由于我们的使用环境是内网，所以Clickhouse没有设置用户名和密码。

 private static SqlSessionFactory initSessionFactory() {
  String url = PropertiesUtil.getProperty("clickhouse.url");
  HikariDataSource ds= new HikariDataSource();
  ds.setDriverClassName("ru.yandex.clickhouse.ClickHouseDriver");
  ds.setJdbcUrl(url);
  Environment environment = new Environment("clickhouse", new JdbcTransactionFactory(), ds);
  Configuration configuration = new Configuration(environment);
  configuration.setLocalCacheScope(LocalCacheScope.STATEMENT);
  configuration.addMapper(IDemoMapper.class);

  synchronized (CLASS_LOCK) {
   if (factory == null ) {
    factory = new SqlSessionFactoryBuilder().build(configuration);
   }
  }
  return factory;
 }

获取当前连接，getCurrentSqlSession()

public static SqlSession getCurrentSession() {
  if (factory == null) {
   initSessionFactory();
  }
  
  if (sqlSession == null) { 
   sqlSession = factory.openSession(ExecutorType.BATCH, false); 

  }
  return sqlSession;
 }

 提交，commit()

public static void commit() {
  if (sqlSession == null) {
   sqlSession = getCurrentSqlSession();
  }
  sqlSession.commit();
 }

 Mapper类，整合所有的SQL。IDemoMapper.java

public interface IMonitorMapper {

 @Insert("Insert Sql")
 int insertInfo(@Param(value = "item") InfoBean ib);

 @Update("Updaye Sql")
 void updateInfo(@Param("value1")String value1,@Param("value2")String value2);
}

 测试类，ChMybatisMain.java

public class ChMybatisMain{


    public static void main(String[] args) {

//ClickHouseMybatisUtil为创建sessionFactory的类     
         ClickHouseMybatisUtil.getSession().getMapper(IDemoMapper.class).updateInfo("value1","value2");
         ClickHouseMybatisUtil.commit;
    }
    
}

 工具类，PopLoadUtil.java

import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Properties;


public class PopLoadUtil {

 private static Properties props;

 static {
  String fileName = "ch.properties";
  props = new Properties();
  try {
   props.load(new InputStreamReader(PopLoadUtil.class.getClassLoader().getResourceAsStream(fileName),
     "UTF-8"));
  } catch (IOException e) {
   logger.error(e.getMessage(), e);
  }
 }

 public static String getProperty(String key) {
  String value = props.getProperty(key.trim());
  if (value==null||value.equalsIgnoreCase("")) {
   return null;
  }
  return value.trim();
 }

}

以上为整合方式和内容。目前功能平稳运行。

 遗留问题

目前项目一次提交万八条数据的没有问题，但是想十万或者百万级的提交，最好不要这样写。建议使用简单粗暴的JDBC方式，导数据的时候使用过，那是相当酸爽。