![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
olap
PowerMee
@南京
展开
-
Clickhouse实现累计求和cumulative sum
源表数据如下:timeprovinceorder_cnt20200601shandong10020200601jiangsu20020200601zhejiang30020200602shandong20020200602jiangsu30020200602zhejiang40020200603shandong40020200603jiangsu50020200603zhejiang600需求是原创 2020-06-15 19:13:51 · 7674 阅读 · 9 评论 -
spark通过官方jdbc写入数据到clickhouse
因为之前测试spark 2.4.0以上版本无法通过native jdbc接口写入clickhouse(之前的文章),尝试了下官方的jdbc接口。环境clickhouse两个分片,无副本读取hive分区,不同分区数据交替写入两个分片实现import java.util.Randomimport org.apache.spark.SparkConfimport org.apache.spark.sql.types.{DoubleType, LongType, StringType}impo原创 2020-05-21 14:04:19 · 4333 阅读 · 6 评论 -
clickhouse jdbc报错:Too many partitions for single INSERT block (more than 100)
通过clickhouse官方jdbc写入时报错:Too many partitions for single INSERT block (more than 100)解决:调整了建表时PARTITION BY分区字段,因为是从hive里读的,所以直接用了hive分区的值: PARTITION BY dt,之前用的add_time字段做分区:toYYYYMMDD(toDateTime(last_update_time, 'Asia/Shanghai')),这个字段在同一批次写入里包括大于100个分区值,c原创 2020-05-21 13:49:55 · 4229 阅读 · 0 评论 -
clickhouse连接Tableau
目录Windows版本tableau连接Linux 版本Tableau连接Windows版本tableau连接windows版本tableau是通过ODBC配置管理器加载clickhouse ODBC驱动连接。下载clickhouseODBC驱动并安装: clickhouse-odbc-1.1.7-win64.msi打开windows ODBC数据源(64位)点击添加选择Clickhouse ODBC Driver (Unicode)配置ODBC连接,注意name不能有空格打开t原创 2020-05-17 12:29:54 · 3716 阅读 · 3 评论 -
Spark通过ClickHouse-Native-JDBC写入Clickhouse
目前通过JDBC写Clickhouse有两种插件可以用官方的JDBC:8123端口基于HTTP实现的,整体性能不太出色,有可能出现超时的现象housepower的ClickHouse-Native-JDBC:9000端口基于TCP协议实现,支持高性能写入,数据按列组织并有压缩记录下使用ClickHouse-Native-JDBC的过程:Spark版本:2.1.0Clickhouse版本:20.2.1.2183,单点部署ClickHouse-Native-JDBC版本:2.1-stable原创 2020-05-15 15:17:11 · 3862 阅读 · 0 评论