spark 任务调试指南

一、有明确报错信息：

二、无明确报错信息：

1. 查看是否类名错误或者没有类名
2. spark 任务执行中是否有位置不合适的spark.stop() 方法存在。

spark sql 任务 （spark sql 读写 hive）

1、查询sql与插入结果不一致问题：

问题背景	原因
使用spark-sql 执行任务insert over select 的语法执行任务，结果出入结果出现字段有串行的问题。	spark sql 读取hive表的textfile 格式的表在写入paquet 格式的表的时候出现的格式解析的问题导致的数据串行
启示	解决
spark sql 与 hive 非原生的搭配使用的时候容易出现这种因为格式问题导致的一系列问题；因此在使用开源以及非原生搭配的组件之间的格式兼容问题一定要格外小心	修改表格式使用数据格式一致