自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 Clickhouse批量插入数据时报错:Too many partitions for single INSERT block

Clickhouse批量插入数据时报错:Too many partitions for single INSERT block

2023-08-09 18:41:59 569

原创 时间戳的唯一性生成

生成唯一的时间戳

2023-08-01 16:09:38 260 1

原创 clickhouse 分布式表数据导入导出

导出的数据字段用逗号分割,但是会用双引号包裹,需去掉双引号。

2023-04-10 17:58:35 1041

原创 df -h 后发现/根目录已经使用100%

磁盘使用超过阈值,发送告警短信或邮件主机:172.21.XXX.X,磁盘阈值:85%,使用率85%,发送时间:08:35:39df -h 命令查看磁盘使用情况/dev/mapper/centos-root 此为根目,磁盘使用情况超过阈值。

2023-03-27 17:13:15 882

原创 pyspark.sql函数 from_json(col, schema, options={})问题

字符串转换为map类型的数据

2023-03-06 16:57:43 494

原创 spark保存取数结果为csv文件技巧

生成的取数结果含有纯数字,在保存为csv文件并用Excel或WPS查看结果时,数字会以科学表达式,或Excel默认的单元格格式展示,非常的不友好。

2023-03-02 14:50:54 777

原创 pyspark.sql两种行转列pivot和collect用法比较及concat_ws 组合使用

pyspark.sql两种行转列pivot和collect用法比较及concat_ws 组合使用

2023-02-20 16:43:50 704

原创 pyspark.sql.functions中collect_list(col)和array_join(col, delimiter, null_replacement=None)组合使用

collect_list(col)和array_join(col, delimiter, null_replacement=None)组合使用

2023-02-17 16:35:45 695

原创 concat_ws(sep, *cols)和concat(*cols) pyspark.sql.functions使用详解

concat(*cols)和concat_ws(sep, *cols)使用

2023-02-17 11:05:02 430

原创 CDH6.1.0环境安装kylin2.6.4 遇到的问题

kylin安装参考(本人之前的文章):https://blog.csdn.net/qq_34669699/article/details/103139072问题一错误信息:Retrieving hbase dependency...错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty解决方式:修改vim /op...

2019-11-19 15:08:52 380 1

原创 cdh6.1.0的环境安装kylin2.6.4

本文基于cdh6.1.0的环境安装kylin2.6.4各个组件版本信息首先确定你的安装环境里各个组件的版本信息,来确定选择kylin的版本1.java 版本$ java -versionjava version "1.8.0_201"Java(TM) SE Runtime Environment (build 1.8.0_201-b09)Java HotSpot(TM) 64-Bit...

2019-11-19 14:48:55 829 2

原创 http POST 请求应答为400

http POST 请求应答为400a,请求参数的格式不正确; 解决办法:仔细对照请求的http URL b,可能出现中文乱码; 解决方法:对中文进行再次编码,只对中文参数编码,不对整个URL编码, 否则会对http://中的‘//’进行再编码//url = URLEncoder.encode(url,"utf-8");//这个是编码policyName...

2018-09-14 11:35:50 7449

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除