spark
文章平均质量分 92
丿丶柠檬
这个作者很懒,什么都没留下…
展开
-
剑指大数据面试:
文章目录linux相关常考的内容:小文件HDFS架构概念:HA(高可用)小文件是什么小文件定义:为什么会有小文件小文件给Hadoop集群带来的瓶颈问题怎么解决小文件问题:SQL on Hadoop业界常用sql on hadoop框架概述行式存储 vs 列式存储常用调优策略宏观角度分析架构层调优分表分区表充分利用中间结果压缩压缩概述:压缩选型语法层调优order by 和 sort bydistribute by 和 cluster by控制输出(reduce/partition/task)的数量执行计划普原创 2021-11-29 01:10:11 · 1216 阅读 · 1 评论 -
spark调整日志输出级别
spark调整日志输出级别 sc.setLogLevel(“ERROR”) // 调整日志级别原创 2020-08-02 16:40:56 · 372 阅读 · 0 评论