采坑爬坑
逃跑的沙丁鱼
奋力起飞的菜鸟
展开
-
clickhouse分区操作实践
ClickHouse支持PARTITION BY子句,在建表时可以指定按照任意合法表达式进行数据分区操作,比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照周几进行分区、对Enum类型的列直接每种取值作为一个分区等。数据Partition在ClickHouse中主要有两方面应用:在partition key上进行分区裁剪,只查询必要的数据。灵活的partition expression设置,使得可以根据SQL Pattern进行分区设置,最大化的贴合业务特点。对part原创 2020-12-09 00:00:01 · 13702 阅读 · 1 评论 -
Spark 使用Joda DateTime报序列化异常KryoException
我的spark代码里有如下面一段使用了org.joda.time.DateTime var rDate = new LocalDateTime(day, dtz) if (dtz.isLocalDateTimeGap(rDate)) { rDate = rDate.plusHours(1) } val regDay: DateTime = rDate.toDateTime()运行时偶尔报序列化问题,比较诡异的是不是每次都报,而且调度重.原创 2020-09-04 17:11:00 · 1144 阅读 · 0 评论