- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark Structured Streaming:窗口聚合
//聚合1小时的数据量 val windowCounts = name.groupBy( window($"create_date", "60 minutes", "60 minutes") ).count().orderBy("window")//写到控制台 windowCounts.writeStream.outputMode("complet...
2019-07-31 21:37:03
990
原创 Spark:写数据到PipelineDB建表问题
Spark写数据到PipelineDB遇到问题：由于PipelineDB特殊的建表语句，而Spark JDBC在写数据之前会自动建一张普通的表结构，会出现问题解决：自己在写入数据之前建好PipelineDB的表，同时不让Spark自动建表不让Spark自动建表，这里注掉了一行spark代码，重新编译打包了jar包，替换了环境jar包，修改代码位置如下：注掉了：state...
2019-07-31 21:13:19
248
原创 Centos: postgres-decoderbufs安装
1 、安装postgis，版本2.1+yum install postgis23_10.x86_642、安装protobuf-c，版本1.2+安装protobufwget https://github.com/google/protobuf/releases/download/v2.6.1/protobuf-2.6.1.tar.gztar xvf protobuf-2.6.1....
2019-07-31 21:01:28
2983
1
原创 Postgresql 逻辑复制使用wal2json：out of memory Cannot enlarge string buffer containing 1073741785 bytes by
out of memory Cannot enlarge string buffer containing 1073741785 bytes by 126 more bytes逻辑复制时使用wal2json时会报如上错误，经定位，是由于逻辑复制在使用wal2json时，会将一次事物提交的所有数据转化为一条json，比如大批量删除数据，或一次提交的数据量很大，wal2json的日志格式如下：...
2019-07-31 21:00:14
2547
转载 PostgreSQL：流复制环境清除 pg_xlog 日志
http://francs3.blog.163.com/blog/static/40576727201352135115689/今天一流复制( Streaming Replication) 数据库一目录空间告警，经查是 pg_xlog 目录WAL 日志文件过多，已超过阀值。 pg_xlog 是数据库重做日志，非常重要，不能直接清理，否则给数据库带来巨大灾难，...
2019-07-26 11:23:24
1263
空空如也
求助：kettle连接cdh510-hbase报错问题
2017-07-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人