![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bug
大数据面壁者
大数据相关知识分享,框架底层原理机制,生产学习中遇到的相关问题分享,共同学习,共同进步。
展开
-
log4j升级之路
log4j升级之路10.10 阿里公开log4j漏洞详细细节,apache下大部分项目收到影响,java程序员开启梦幻般的升级log4j的加班之旅。初始升级方案修改jvm参数:Dlog4j2.formatMsgNoLookups=true修改配置:log4j2.formatMsgNoLookups=True将系统环境变量FORMAT_MESSAGES_PATTERN_DISABLE_LOOKUPS设置为 true升级版方案10.11 日apache上线log4j 1.15稳定版,开启升原创 2021-12-13 20:39:48 · 1333 阅读 · 1 评论 -
Spark使用foreach与map算子的区别
spark使用map算子不产生数据的问题 下代码,使用累加器对数据进行求和的过程中,发现代码没有报错,运行也无异常,但是累加器结果总是为空,经过多番查证,发现问题出现在下面代码的第七步。 开始时使用的是map算子对RDD中数据遍历,通过累加器进行计算,结果没有值。 后来发现map底层使用的是迭代器,当循环遍历一遍之后,迭代器的指针已经跳到了最末尾,当进行累加器计算的时候,已经没有数据进行计算了,因此迭代器结果没有值。 修正后结果:使用foreach替代map进行循环计算。package c原创 2020-12-29 19:19:09 · 1881 阅读 · 1 评论 -
flume采集数据
今天写了一个flume的配置文件采集日志文件(json格式),将日志文件采集到kafka,结果在kafkatools工具中发现采集的每一条数据前面都多出了两个字节的乱码,显然后面的操作都是以json格式进行处理,数据被阻塞在kafka中。后来进行了反复检查,发现问题还是出现在flume配置文件中。。。。。。。。。。。。在这里配置是否以event格式写入kafka时,多加了kafka,flume读取数据时还是以默认设置以event格式读入数据,结果event中的header信息保存到kafka后变成了乱原创 2020-12-10 11:49:09 · 632 阅读 · 0 评论 -
电脑打开网络没有WiFi列表
电脑打开网络没有WiFi列表一、问题描述今天插着网线一晚上没有网,拔掉网线后想连接WiFi结果发现没有WiFi列表,并且显示xxx小时后连接网络选项,问题原因还没找到~~~(图片以后再次出现时再补…)二、问题处理重置一下winsock:按住Windows+X,选择命令提示符(管理员),输入以下内容:netsh int ip resetnetsh winsock reset完成后重启电脑。...原创 2020-11-19 09:28:13 · 2593 阅读 · 0 评论 -
Hive报错集合
Hive报错集合更新中。。。。原创 2020-11-25 16:17:23 · 944 阅读 · 0 评论 -
判断异常
判断异常 }catch (NumberFormatException e){ System.out.println(e); transaction.commit(); }catch (Exception e){ transaction.rollback(); }原创 2020-12-04 18:39:11 · 185 阅读 · 0 评论