![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sparksql
sssuperMario
这个作者很懒,什么都没留下…
展开
-
sql一行拆分成多行 -sparksql
def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setMaster("local").setAppName("spark-sql-test") val sparkSession = SparkSession.builder().config(conf).getOrCreate()//// val df1 = sparkSession.createDataFrame(Seq(..原创 2020-10-13 10:45:11 · 1714 阅读 · 0 评论 -
Spark Sql读取hive表-Unsupported data source type for direct query on files:hive;;
spark sql在读取hive表时,配置、spark与hive版本、等等很多因素可能会导致操作失败,本随笔就以下异常记录排查方案。集群环境:HDP3组件版本:spark2.3.0、hive3.0.0.3.0ERROR yarn.ApplicationMaster:user class threw exception:org.apache.spark.sql.AnalysisException:Unsupported data source type for direct query on files原创 2020-09-08 15:11:49 · 750 阅读 · 0 评论 -
SparkSql读取hive-NumberFormatException:For input string:“0000001_0000“
SparkSql读取hive-NumberFormatException:For input string:“0000001_0000”HDP3集群环境下,spark2.3 在使用Spark Sql操作hive表时出现异常:java.lang.NumberFormatException:For input string:“0000001_0000”出现这个问题的原因其实是 HDP3.0 集成了hive 3.0和 spark 2.3,然而spark却读取不了hive表的数据数据,准确来说是内表的数据。因原创 2020-08-07 09:57:09 · 1048 阅读 · 0 评论