- 博客(6)
- 收藏
- 关注
原创 【Spark问题记录】抑制spark在控制台输出的日志,使用log4j.properties不生效
由于有部分配置显示的是灰色,所以考虑是文件没有生效,在尝试了将log4j.properties改名到log4j.propertie再改回log4j.properties后发现配置信息都能显示成橙色,再次运行程序,发现日志信息已经不会显示了。但是在文件中,只有前5行是橙色的,其他的都是灰色的,是不是意味着灰色部分的设置没有起作用?为了抑制spark程序运行时在控制台输出的大量日志信息,我在main目录下的resources创建了。
2023-09-15 16:27:41 626
原创 【Hive笔记】Hive中load data 什么时候走mr,什么时候不走mr?
如果数据源是 HDFS,并且目标表的存储格式是文本(TextFile)或某些列式存储格式(如 ORC 或 Parquet),则数据加载操作通常也不会触发 MapReduce 作业。Hive 会直接移动或复制数据到目标表的 HDFS 目录,并更新元数据。关键字),并且目标表的存储格式是文本(TextFile),则数据加载操作通常不会触发 MapReduce 作业。关键字),但目标表的存储格式不支持直接复制(如 SequenceFile 或 RCFile),则数据加载操作可能触发 MapReduce 作业。
2023-09-05 16:28:53 273
原创 Bug记录:(org.apache.hadoop.security.authorize.AuthorizationException):
Impersonation 模拟权限问题: Hive 配置中可能启用了用户模拟(impersonation)功能,允许一个用户模拟另一个用户来执行查询。然而,在这个错误中,用户 xeon 尝试模拟自己,这通常是不被允许的。在这个错误中,关键信息是 “User: xeon is not allowed to impersonate xeon”,这表明用户 xeon 不被允许模拟另一个用户名 xeon。用户权限问题: 用户 xeon 可能没有足够的权限来连接到 Hive 服务器,或者执行特定的操作。
2023-08-30 13:31:27 192
原创 HashMap源码理解:HashMap中的table和entrySet中的table的关系
的操作会与视图中的元素相对应,保持数据的一致性。这意味着,如果我们通过视图的方法添加、删除或修改键值对,那么。中的键值对,同时保持了数据的一致性和代码的简洁性。这样,我们可以通过键快速地获取对应的值,而不需要自己计算散列和查找。这样,我们可以轻松地更新键值对的值,而不需要直接操作。的一个成员变量,它是一个数组,用于存储键值对(Entry)。对象,包含了键值对的键和值。的一个视图,用于访问 HashMap 中的键值对。的数据与视图保持同步,而不会出现数据不一致的情况。视图中的元素的操作,会直接影响到。
2023-07-27 13:16:11 233
原创 CSDN 文章标题不能为空
CSDN 文章标题不能为空今天第一次写文章,发布的时候一直显示文章标题不能为空,但是文章的标题处确实已经填写了标题。排查了许久发现是文章中的公式出了问题没法显示,所以才会报错。如果大家写文章的时候出现这样的报错,多检查一下文章内部公式或者超链接等格式问题,不一定就是文章标题的问题。...
2020-08-18 19:22:42 396 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人