- 博客(6)
- 收藏
- 关注
RSS订阅原创 【Spark问题记录】抑制spark在控制台输出的日志，使用log4j.properties不生效
由于有部分配置显示的是灰色，所以考虑是文件没有生效，在尝试了将log4j.properties改名到log4j.propertie再改回log4j.properties后发现配置信息都能显示成橙色，再次运行程序，发现日志信息已经不会显示了。但是在文件中，只有前5行是橙色的，其他的都是灰色的，是不是意味着灰色部分的设置没有起作用？为了抑制spark程序运行时在控制台输出的大量日志信息,我在main目录下的resources创建了。
2023-09-15 16:27:41
577
原创 【Hive笔记】Hive中load data 什么时候走mr，什么时候不走mr？
如果数据源是 HDFS，并且目标表的存储格式是文本（TextFile）或某些列式存储格式（如 ORC 或 Parquet），则数据加载操作通常也不会触发 MapReduce 作业。Hive 会直接移动或复制数据到目标表的 HDFS 目录，并更新元数据。关键字），并且目标表的存储格式是文本（TextFile），则数据加载操作通常不会触发 MapReduce 作业。关键字），但目标表的存储格式不支持直接复制（如 SequenceFile 或 RCFile），则数据加载操作可能触发 MapReduce 作业。
2023-09-05 16:28:53
228
原创 Bug记录：(org.apache.hadoop.security.authorize.AuthorizationException):
Impersonation 模拟权限问题： Hive 配置中可能启用了用户模拟（impersonation）功能，允许一个用户模拟另一个用户来执行查询。然而，在这个错误中，用户 xeon 尝试模拟自己，这通常是不被允许的。在这个错误中，关键信息是 “User: xeon is not allowed to impersonate xeon”，这表明用户 xeon 不被允许模拟另一个用户名 xeon。用户权限问题： 用户 xeon 可能没有足够的权限来连接到 Hive 服务器，或者执行特定的操作。
2023-08-30 13:31:27
173
原创 HashMap源码理解：HashMap中的table和entrySet中的table的关系
的操作会与视图中的元素相对应，保持数据的一致性。这意味着，如果我们通过视图的方法添加、删除或修改键值对，那么。中的键值对，同时保持了数据的一致性和代码的简洁性。这样，我们可以通过键快速地获取对应的值，而不需要自己计算散列和查找。这样，我们可以轻松地更新键值对的值，而不需要直接操作。的一个成员变量，它是一个数组，用于存储键值对（Entry）。对象，包含了键值对的键和值。的一个视图，用于访问 HashMap 中的键值对。的数据与视图保持同步，而不会出现数据不一致的情况。视图中的元素的操作，会直接影响到。
2023-07-27 13:16:11
177
原创 CSDN 文章标题不能为空
CSDN 文章标题不能为空今天第一次写文章，发布的时候一直显示文章标题不能为空，但是文章的标题处确实已经填写了标题。排查了许久发现是文章中的公式出了问题没法显示，所以才会报错。如果大家写文章的时候出现这样的报错，多检查一下文章内部公式或者超链接等格式问题，不一定就是文章标题的问题。...
2020-08-18 19:22:42
369
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人