- 博客(9)
- 收藏
- 关注
RSS订阅原创 【踩坑记录】数据开发中易错的点
2、复制代码的时候 没改替换表【非常重要，不能覆写原分区正常数据】一般是set了变量，但是运行时没有把变量选中运行。1、复制代码时候 没注意时间参数的设置。
2024-06-11 18:25:53
77
原创 spark3 sql spark sql 字符串转日期 失败 结果为空
如果上传成string类型，后续查询时对日期做的转换结果全为空（比如我的需求里是需要再提取月份）上传一段数据做成临时表，其中有个字段是日期，我上传的格式为yyyy/MM/dd。所以最后重新上传一次格式为yyyy-MM-dd到临时表，查询就正常了。如果上传成date类型，字段里的数据将全部变为空；
2024-05-17 18:49:36
204
原创 【踩坑记录】starrocks hive Length的用法
在公司平台用starrocks hive 使用length()做筛选条件, 和使用spark 返回的结果一致，然而在公司另一个查询平台上却筛选不出结果，最终发现是starrocks hive 中length() 一个中文字符算3个字符长度。
2024-04-24 17:32:24
132
3
原创 spark sql 和presto sql 提取月份第一天的写法
根据需要可以改成'YEAR'、'QUARTER'、'WEEK'、'DAY'、'HOUR'、'MINUTE'或'SECOND'平常在公司里用spark3比较多，因为spark兼容的写法多；presto查询速度更快，语法限制更多。或者上面一种presto的写法也是一样的。提取月第一天的写法如下。
2023-12-20 18:51:28
746
1
原创 SQL查询 case when 报错 group by 中的case when 不能加 as 字段别名
1. group by 写法直接省略分组字段，用数字代替，1代表year，2代表name，有几个分组字段就写到几。SQL查询group by 中的case when 不能加 as 字段别名 ，不然会报错。2. group by case when 写到end 就可以，不加as。
2023-12-20 15:48:56
604
1
原创 spark sql 查询select 语句 select as 字段中文别名
在 Spark SQL 中，使用双引号命名字段别名时，只能使用英文字符，不能使用中文字符。这样就可以避免使用双引号命名中文字段别名时的错误。
2023-06-30 10:04:34
2152
2
原创 openxlpy 在excel中批量插入图片 根据单元格内容插入图片 图片随单元格大小变化而变化 AnchorMarker python
试过很多种方法，将图片的宽高设定成单元格行高列宽一致，但是这样子有个问题，图片和单元格的长宽单位不一致，而且换算起来非常麻烦，还会出现图片大小不对的情况，所以放弃了。使用锚点去定位图片，而且是嵌入图片，后续改变单元格大小行宽的话图片也可以随之改变大小，非常灵活，参考。里面“中等难度的贪吃蛇”这位的答案，经过多次验证，代码可以顺利运行。要用到OS库和openxlpy库。
2023-04-17 17:28:21
2190
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人