![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bug
YiRan_Zhao
每天进步一点点
展开
-
使用 lateral view explode(col1)后行数变少了,bug排查
思考:第二条语句只比第一个多一个炸裂函数,炸裂函数的作用是将数据炸开变成多行数据,为什么还会条数变少了呢?例如有20条a是空,那如果a都没有被分割,那就会生成80条数据,我这个a有被分割,所以生成了90条数据。经过各种资料查找,数据探索,发现当字段是空时,不会形成新的一行,而是会把这条数据过滤掉。查询该表结果为100行。查询下表条数为90行。原创 2024-08-15 17:40:13 · 481 阅读 · 0 评论 -
migrate table com.finebi.persist.impl.entity.PackageSubItemEntity failed
记录一个报错解决过程,finebi在连接外部mysql时,要把finebi里的表导入到mysql,但是如果mysql库不是utf8就会报错如下migrate table com.finebi.persist.impl.entity.PackageSubItemEntity failed。解决方法:用下面语句创建的库是可以成功连上finebi的,并且可以使用mysql里的数据。原创 2024-07-10 17:29:16 · 389 阅读 · 0 评论 -
docker安装的clickhouse连接不上
在本地连接docker安装的clickhouse连接不上,telent ip 8123 也不通。记录一下bug,本clickhouse是测试用在虚拟机自己搭的。找到clickhouse的id。然后重启了docker服务。原创 2024-07-05 13:42:04 · 153 阅读 · 0 评论 -
TypeError: return value expected <class ‘unicode‘> but <class ‘int‘> found
解决此问题的关键在于确保您的UDF函数始终返回字符串类型的数据。如果您在处理逻辑中确实需要返回某个字段的原始整数值,那么应该将其转换为字符串格式,修改如下。这通常发生在您尝试将Python字典直接作为UDF的输出,而ODPS UDF在没有正确序列化的情况下无法直接处理字典类型的返回值。方法将字典转换为JSON字符串,确保输出符合预期的Unicode字符串格式,所以将代码里dict类型封装成了json返回的。这个错误说明您的UDF函数期望返回的是一个Unicode字符串类型(),但实际上返回了一个字典类型(原创 2024-06-26 16:03:16 · 307 阅读 · 0 评论 -
AttributeError: ‘FilterCollectionExpr‘ object has no attribute ‘group_by‘
AttributeError: 'FilterCollectionExpr' object has no attribute 'group_by'原创 2024-04-30 10:39:15 · 96 阅读 · 0 评论 -
flink oracle cdc sql方式读取表,读不出数据问题
采坑原创 2024-03-27 14:03:01 · 557 阅读 · 1 评论 -
count(distinct xx ,vv)中里面字段如果有任意一个是null,那都不计算条数
FROM (,2 nameUNION ALL,NULL name结果是1条数据。原创 2023-11-10 13:30:13 · 144 阅读 · 0 评论 -
阿里DataWorks的数据服务进行模糊查询
{ "apiLog": null, "data": null, "errCode": 1108110622, "errMsg": "数据源查询失败:[PreparedStatementCallback;栏位索引超过许可范围:21,栏位数:20。上述示例中,:keyword 是传入的参数,使用 || 进行字符串拼接,将 _ 通配符与参数值拼接在一起,实现单个字符的模糊匹配。上述示例中,:keyword 是传入的参数,使用 || 进行字符串拼接,将 % 通配符与参数值拼接在一起,实现前后模糊匹配。原创 2023-10-25 13:09:15 · 378 阅读 · 0 评论 -
The main method caused an error
原因为资源配置后代码有变动,需放弃配置,重新生成,或者直接放弃配置,应用系统自动调优的方式。原创 2023-10-25 10:30:34 · 467 阅读 · 0 评论 -
HGERR_code 22012 HGERR_msge division by zero HGERR_end[query_id
这个报错是由于分母是0造成的,分母不能为0。原创 2024-03-26 14:02:06 · 164 阅读 · 0 评论 -
A表直接LEFT JOIN B表 再过滤 和 A表LEFT JOIN (B表的子查询结果)的区别
如果你的过滤条件只想作用于B表,那么LEFT JOIN B表的子查询结果;如果你的过滤条件需要作用于整行关联结果,那么直接LEFT JOIN即可。1,如果a表的所有数据都能在b表找到,那没有区别,如果不能,那结果不同。原创 2023-04-17 14:49:20 · 318 阅读 · 1 评论 -
spark报org.apache.spark.sql.hive.HiveSession
链接:https://pan.baidu.com/s/1Mcm7QZO9J8ud6930MVFUng?出现这个问题的原因是我们在windows上模拟开发环境,但并没有真正的搭建hadoop和spark。放到任意的目录下,我这里是放到了E:\vacation\wutils\bin。在重启电脑之后-----在运行代码。原创 2023-03-17 13:08:18 · 933 阅读 · 0 评论 -
session.createDataFrame(personRdd, Person.class) 返回的dataframe没有数据问题
bug原创 2022-10-21 16:06:38 · 183 阅读 · 0 评论 -
Could not create table ‘dim_material_prism_vehicle_a_h‘ as dim table
bug原创 2022-09-29 10:20:13 · 142 阅读 · 0 评论 -
VMware NAT模式下设置网络,虚拟机和主机网络不通
一、虚拟机NAT模式原理NAT模式在VMware下又称VMnet8。在这种模式下,宿主机有两块网卡,一块是真实的物理网卡(即NAT device),连接Network;一块是 VMware Network Adapter VMnet8,通过虚拟交换机(VMnet8)与虚拟机网卡进行通信。由于NAT device有网络地址转换功能,虚拟机网卡的数据通过 VMware Network Adapter VMnet8转发,进行地址转换后,由真实的物理网卡再转发到NetWork。此外,...原创 2020-11-25 11:32:06 · 13289 阅读 · 6 评论 -
sparkstreaming多consumer消费kafka报错问题
版本: sparkstreaming 2.2 kafka 0.10sparkstreaming 集成kafka后(Direct模式),同一个groupid下的多个spark-streaming consumer消费kafka中的数据时,会报错。(如何重现问题:把sparkstreaming集合kafka的程序,运行两次即可)报错如下:该主题下的数据不能访问。问题剖析:假定消费主题为he...原创 2018-05-25 11:05:47 · 4423 阅读 · 7 评论 -
spark本地读取hdfs文件连接超时:java.net.ConnectException: Connection timed out: no further informa
报错信息具体描述:1.读写HDFS文件程序def main(args: Array[String]): Unit = { // 如果在windows本地跑,需要从widnows访问HDFS,需要指定一个合法的身份 System.setProperty("HADOOP_USER_NAME", "hdfs") val logFile = "/user/zla/test" val spark = SparkSession .builder .appName("demo原创 2021-05-05 11:33:55 · 2136 阅读 · 0 评论 -
外网无法访问hdfs文件系统 java.net.ConnectException: Connection timed out: no further information
由于本地测试和服务器不在一个局域网,安装的hadoop配置文件是以内网ip作为机器间通信的ip.在这种情况下,我们能够访问到namenode机器,namenode会给我们数据所在机器的ip地址供我们访问数据传输服务,但是返回的的是datanode内网的ip,我们无法根据该IP访问datanode服务器.报错如下Copy2018-06-06 17:01:44,555 [main] WARN [org.apache.hadoop.hdfs.BlockReaderFactory].原创 2021-05-05 11:37:46 · 1166 阅读 · 0 评论 -
spark 报错:Protocol message end-group tag did not match expected tag 解决方法
spark将结果存回hdfs时,如果使用9000端口,会报Protocol message end-group tag did not match expected tag,需要将端口就改为8020异常原文如下:Showing 4096 bytes of 7480 total. Click here for the full log.n.QueryExecution.toRdd(QueryExecution.scala:56) at org.apache.spark.sql.executio原创 2021-05-05 14:20:07 · 2268 阅读 · 0 评论 -
flink运行streamwordcount 拒绝连接
原因:这些套接字流示例期望在启动flink作业之前已启动服务器(netcat)并将其绑定到端口.通常,这是通过原创 2022-06-18 11:43:15 · 611 阅读 · 0 评论 -
写入数据到datahub报java.lang.NoClassDefFoundError: javax/ws/rs/core/FeatureContext
bug原创 2022-09-16 14:36:28 · 1287 阅读 · 0 评论 -
ERROR [Executor task launch worker for task 30867] NebulaEdgeWriter:52 - failed to write
图数据库bug处理原创 2022-09-08 17:03:17 · 461 阅读 · 0 评论 -
Incompatible types require xxx, Incompatible equality constrain xxx,泛型问题报错
大数据采坑记录原创 2022-09-05 17:26:04 · 829 阅读 · 0 评论 -
ora-09925 0ra-01075
ora-09925 ora01075原创 2022-07-05 11:11:21 · 292 阅读 · 0 评论 -
ERROR SparkContext: Error initializing SparkContext 解决方法
把--driver-memory 调大原创 2020-08-12 10:59:08 · 1676 阅读 · 0 评论