问题解决：spark.debug.maxToStringFields

最新推荐文章于 2023-12-15 11:18:26 发布
最新推荐文章于 2023-12-15 11:18:26 发布
阅读量4.3k 收藏 2
点赞数
分类专栏： spark 文章标签： spark
原文链接：https://blog.csdn.net/u013084266/article/details/103610872
版权
当使用Spark2.4.0进行大数据统计时，遇到由于字段数量超过默认限制25导致的警告。解决方案包括在程序中动态设置`spark.debug.maxToStringFields`为100，或者永久性地在`spark-defaults.conf`文件中添加该配置并重启服务。如果问题依旧，可能需要进一步增大该配置值。
摘要由CSDN通过智能技术生成

问题场景

使用spark 2.4.0进行统计数据，报错误，错误提示为：

WARN  Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.

原因

是因为该表字段个数比较多，超过了默认值25，所以提示报错。

解决方法

  1. 程序解决方法

    SparkSession
        .builder()
        .master("local[2]")
        .appName("test")
        .config("spark.debug.maxToStringFields", "100")
        .getOrCreate();

     

  2. 永久解决方法

    # spark配置文件 
# 在spark-defaults.conf文件中添加一行处理，重启slave,再此进入spark-shell, warning消失了。
spark.debug.maxToStringFields=100

    我的已经设置为100了，看来还得更大些

瑾明达2号
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
六（1）、spark遇到的问题
Angular_need的博客
04-12 4250
1、意外退出spark-shell，而不是quit，然后再输入spark-shell命令的时候，报错： 19/04/11 13:42:32 WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041. jps查看，SparkSubmit在，查看4040端口也是被SparkSubmit占用...
spark常用的调参详解
我的博客
12-28 1960
 1.在submit中设置 在submit中设置注意后面的  \  --conf "spark.shuffle.blockTransferService=nio" \   大数据集shuffle的时候，节点之间传输数据时使用netty 改为nio --conf "spark.debug.maxToStringFields=500"  \     字段的字符串太长了 --conf "spa...
spark.debug.maxToStringFields
潇洒人生的博客
11-02 1万+
spark运行报错 Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf. 需要设置.config("spark.debug.m...
Spark报错：spark.debug.maxtostringfields
x²＋(y－√³x²)²＝1的博客
09-09 953
https://blog.csdn.net/u013084266/article/details/103610872
spark.debug.maxToStringFields错误
qq_21735341的博客
07-27 6456
spark = SparkSession \ .builder \ .config('spark.debug.maxToStringFields', '100')\ .appName("Python Spark SQL data source example") \ .master('local[*]')\ .get...
Spark 运行警告：spark.debug.maxToStringFields
weixin_43239554的博客
04-26 2446
spark运行报错 Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting ‘spark.debug.maxToStringFields’ in SparkEnv.conf. 可以设置一个参数.config(“spark.debug....
spark.debug.maxtostringfields
03-16
spark.debug.maxtostringfields是Spark中的一个配置参数，用于控制在调试时将对象转换为字符串时最多显示多少个字段。默认值为25。如果需要显示更多字段，可以将该参数设置为更大的值。
spark.sql.sources.parallelPartitionsDiscovery.threshold
leehbing的博客
01-29 1617
streamingdumping运行多天后出现，每个batch多了一个Job（38/38的job），而且该任务的耗时比较长，会使任务积压，driver的日志如下： 2019-01-29 11:55:01,631 INFO datasources.PartitioningAwareFileIndex: Listing leaf files and directories in parallel...
本地使用scala操作spark示例.doc
最新发布
03-06
7. **`.config("spark.debug.maxToStringFields", "1000")`**：设置调试时的最大字段数量，这有助于在打印复杂对象时提供更完整的信息。 8. **`.config("spark.sql.sources.partitionOverwriteMode", "dynamic")`**...
This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.
花木兰
04-23 2178
def create_spark(): spark = SparkSession. \ builder.master('local'). \ appName('pipelinedemo'). \ getOrCreate() return spark 报错： WARN NativeCodeLoader:62 - Unabl...
Spark-debug
huang358468的博客
09-27 169
Debug your application 在yarn模式下，executors和应用的master运行在containers中。yarn有2种模式处理container日志，在应用完成后。 首先开启日志收集 yarn.log-aggregation-enable=true,container日志被复制到hdfs,并且删除本地的log, 日志查看方式 yarn logs applicationI...
Spark Debug
abc13649258172的博客
07-17 139
https://confluence.jetbrains.com/display/SCA/Scala+Plugin+for+IntelliJ+IDEA https://www.jetbrains.com/help/idea/run-debug-and-test-scala.html
pyspark及Spark报错问题汇总及某些函数用法。
热门推荐
元元的李树专栏
01-07 3万+
此贴，主要记录本人在工作中遇到的某些报错问题，并提出自己的解决办法。 1. spark = SparkSession.builder() TypeError: 'Builder' object is not callable 解决办法：.builder() 改为.builderhttps://issues.apache.org/jira/browse/SPARK-1842...
WARN Utils: Truncated the string representation of a plan since it was too large. This behavior can
weixin_50259390的博客
12-15 599
spark运行报错Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.解决方法：把spark.debug.maxToStringFields参数设置大点到200，如果还不可以可继续往上加。
spark和hive常用调优参数(具体需根据数据来确定大小)
vikings_lau的博客
05-19 652
- 触发 广播join 的 大小 控制 , 这里写了1G , 非必要 这里够大了, 一般调整100M 足以 (维度表)-- 每个executor内存大小,默认512m ,这里得依据yarn 实际大小限制配额做调整。-- 每个executor使用的CPU核数，默认为1。-- 以下语句必须配置在 右侧 环境参数中 才生效。-- ##启动的executor的数量，默认为1。
7. WARN Utils: Truncated the string representation of a plan since it was too large. This behavior
元元的李树专栏
11-05 9245
7. WARN Utils: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf. ========== 在交互环境，暂时修改...
spark 任务调优参数及问题整理
小小码农的博客
09-01 2115
1.数据倾斜： 最简单的做法:在sql中使用随机数distribute by rand() 在sql 末尾加 select * from a left join b on a.xx=b.xx distribute by rand() 2.spark.dynamicAllocation.enabled=true开启动态资源分配 3.提高并行度 spark.sql.shuffle.partitions=1000 ， 调整stage的并行度，也就是每个stage的task个数，默认值...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值