- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark大厂面试题（一）
就是任务主要在“算”，CPU 忙得比较满，真正耗时的大头在计算本身。joinUDF排序大量 CPU 运算CPU 占用高算法和中间对象比较多任务会持续消耗处理器多出来的 JVM 和重复开销，要尽量少一点所以这种场景里，1×5往往更合适。就是任务主要在“等”，不是一直在算。读 HDFS / S3等数据库返回等网络shuffle 很重CPU 不一定一直满时间花在等待外部资源上任务并行度更重要某个 executor 卡住时，不希望影响太多任务。
2026-08-27 11:44:15
381
原创 数仓AI提效之Skill篇
把本地 AI 接入数据中台后，我用一组 Skill 串起了拉代码、查表、看血缘、生成校验、跑 Hive、读日志的流程。AI 负责搬上下文和整理结果，我负责确认口径和风险。
2026-08-21 11:22:03
193
原创 Spark调优 --- 物化
一次 PySpark 任务优化中发现，Spark 临时视图不会自动物化，多次引用复杂视图会导致重复计算。通过显式 persist 并触发 count() 物化后，任务耗时明显下降；实测中 DISK_ONLY 比 cache() 更适合当前场景。
2026-08-19 16:37:51
410
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人