【zeppelin】一 zeppelin提交pyspark代码,结果note.json信息太大致使当前notebook无法打开,问题排查与解决过程

在Zeppelin中执行pyspark代码时,由于结果过大,使得note.json文件超过10MB,导致notebook无法打开。通过尝试在hdfs上替换note.json,调整zepppelin env配置,以及删除notebook等方式解决问题。最终发现本地和hdfs的note.json不一致是关键,正确做法是确保两处文件同步替换。
摘要由CSDN通过智能技术生成

执行pyspark 的programma片段结果说明

使用RDD的相关运算算子,实现亿级数据用户、设备等相关常用信息。

本以为有zeppelin设置的1000行配置限制与10240000kb没有什么问题。

但因为某步草走,导致结果在ui中显示超过1000行,且致使notebook的note.json超大,超过10MB。

复现问题

后来新建notebook,复现同样问题,note.json瞬间从几十kb 到十几MB,①是结果太大,②异常信息太大,导致note.json中msg中的“data”的value特别特别大。(测试过json只有几百行)

解决尝试 (银行业,太严格只能zeppelin、ambari页面操作)

①一开始只知道hdfs上有note.json,把该json 导到本地文件,在zeppelin的shell环境中尝试sed -i ‘s/[ ]“data”: "."/ “data”:""’/ 替换,再删除hdfs上 该note.json,再把修改的上传上去。
(hdfs 文件无法覆盖,只有追加;)
替换后文件恢复到正常大小。(“data”,对应的就是要print到页面的信息)

结果没有效果,后追踪原因:zeppelin有本地的notebook/AE8CDF1/note.json 这样的文件,与hdfs是对应缓存的,改hdfs没有用。

②尝试ambari中 修改zepelin env 中 msg.li

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值