问题描述:
同事在使用Spark dataset.show查看sql执行结果时,发现显示的条数比预期的少并且有些比较长的字段被自动截断了。
解决方法:
可以使用dataset.show(最大显示条数)显示更多的数据。
可以使用dataset.show(false)指定显示数据时不截断比较长的字段(列)。
也可以一起使用dataset.show(最大显示条数,false).
如:
dataset.show(100,false);//最多显示数据集中的100行并且不对字段做截断处理
spark3 show默认显示数据集里的20行数据,为了方便在控制台显示默认对比较长的列做截断处理