- 博客(148)
- 收藏
- 关注
RSS订阅原创 spark，读取和写入同一张表问题
2.读取上来之后，创建为临时视图temp，然后先写入a表，再使用temp，就会报错。4.万能解决办法：先把数据收集到Driver，创建临时视图，再写入a表。解决办法：先把数据收集到Driver，创建临时视图，再写入a表。解决办法：可以先使用temp，再写入a表。3.写入的不是分区表，会报错。1.写入的是分区表，不报错。
2025-01-16 22:37:43
425
原创 pySpark乱码
python的变量包含中文，用format放入SQL中时，出现乱码。使用python3，并且把所有print，改成带括号的。python2默认编码是ascii。
2024-11-13 12:26:51
286
原创 Java，BigDecimal转换为int类型，数据精度丢失
如果 `BigDecimal` 的值超出了 `int` 类型能表示的范围，即整数的最大值 `Integer.MAX_VALUE` （2147483647）或最小值 `Integer.MIN_VALUE`（-2147483648），该方法会返回一个截断的结果。在你的情形中，`resultBigDecimal` 的值是 `-2.3785548E+19`，远远超过了 `int` 类型的最小负值。因此，转换到 `int` 时，发生了数值的溢出和环绕，从而导致返回的结果为 2147434496。
2024-04-24 14:30:43
698
原创 doris备份恢复bug
1.原表是3个副本，备份，恢复的时候指定1，恢复的建表语句显示是3，以后新插入的分区，副本是3，容易导致数据丢失。2.原表是1个副本，备份，恢复的时候指定1，恢复的建表语句显示是3，以后新插入的分区，副本是3。
2024-04-17 16:00:01
553
1
原创 doris建表报错:Failed to find 3 backends for policy
【代码】doris建表报错:Failed to find 3 backends for policy。
2024-01-31 18:19:21
736
原创 fastjson2序列化报错OutOfMemoryError
报错如下，这里用的是阿里的com.alibaba.fastjson2，该版限制了最大可以大小是64M，超过了就报错OutOfMemoryError。
2024-01-29 19:29:20
1468
原创 解决FileNotFoundException: D:\decode.dll (另一个程序正在使用此文件，进程无法访问)问题
在静态代码块中加载decode.dll。
2024-01-18 16:46:17
417
原创 hive数据量不一致，表1是5条，导入到表2，变成了10条
hive的数据里面，有脏数据，比如某个字段中的数据有换行符、\n。如果hive设置的参数，换行符正好是\n，那么数据就会变多。
2024-01-17 16:40:51
474
原创 spark写hive的ORC表，count(*)没数据
使用spark向hive中插入数据，hive表是ORC表。解决办法：在后面加 limit 1 解决。然后查询数据，发现数据是164条。然后用SQL查询数量，结果是0。
2024-01-16 10:52:02
497
原创 flink自动发现kafka新增分区
如果flink程序在运行中，kafka新增了分区，flink程序是消费不了的，需要重启flink程序，然后重置kafka的offset。
2024-01-10 19:00:05
668
原创 doris，DUPLICATE KEY类型不支持update
明细表只能支持insert/delete，不支持update语句。update需要通过delete+insert实现。
2024-01-10 14:14:51
881
原创 doris批量创建分区
注意，以上"FROM(...) TO (...) INTERVAL ..."这种批量创建分区后面指定的INTERVAL还可以指定成YEAR、MONTH、WEEK、DAY、HOUR。
2024-01-10 13:59:59
540
原创 spark报错：com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.0
解决办法。
2023-12-22 10:48:38
202
原创 flink报错：akka.pattern.AskTimeoutException: is that the recipient actor didn‘t send a reply
在flink-conf.yaml中添加或修改：akka.ask.timeout: 100s web.timeout: 100000。如果负载或网络问题无法彻底缓解，需考虑调大 akka.ask.timeout 参数的值（默认只有 10 秒）；Akka 超时导致，一般有两种原因：一是集群负载比较大或者网络比较拥塞，二是业务逻辑同步调用耗时的外部服务。另外，调用外部服务时尽量异步操作（Async I/O）
2023-11-23 14:51:22
834
原创 算法通关村第一关——链表白银挑战笔记
这是一道经典的链表问题 : 输入两个无环的，找出它们的第一个公共结点，如果没有公共节点则返回空。屡试不爽的方法: 将和常用算法思想都想一遍，看看哪些能解决问题。常用的数据结构有数组、链表、队、栈、Hash、集合、树、堆。常用的算法思想有查找、排序、双指针、递归、迭代、分治、贪心、回溯和动态规划等等。首先想到的是蛮力法，类似于冒泡排序的方式，将第一个链表中的每一个结点依次与第二个链表的进行比较，当出现相等的结点指针时，即为相交结点。虽然简单，但是时间复杂度高，排除!
2023-11-20 16:05:05
201
原创 报错doris Doris BrokerLoad No source file in this table
查看hive的建表语句，找到location路径，复制到 DATA INFILE 即可。
2023-11-16 10:29:31
330
原创 算法通关村第一关——链表青铜挑战笔记
在给插入的新节点连线时不能先把目标节点的前个节点的指针指向新节点。（2）删除中间节点直接将要删除节点的上一个节点的指针指向删除节点的下一个节点即可。（2）在中间增加元素要注意的问题是 我们必须要遍历到目标节点的前一个节点停下，要先等目标节点的前个节点的指针的指针先连到目标节点才行。（1）删除首部节点直接将head指向旧头部节点改为指向新头部节点即可。（3）删除尾部节点直接将旧尾部节点的上一个节点的指针指向null即可。（3）在尾部增加元素直接将旧尾部节点指向新尾部节点就行了。
2023-11-03 08:51:04
241
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人