![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
spark
spark总结汇总,知识分享
bigDataShare
java,scala,linux,微服务和大数据分享平台.分享你我他
展开
-
spark异常汇总(持续更新中~~)
目录 1 idea运行spark javaApi 异常 问题点: 问题再现: 解决方案: 1 idea运行spark javaApi 异常 问题点: idea不识别spark泛型,报异常但是能正常运行(maven clean) 问题再现: 入下图 incompatible types.required JavaRDD<String> but 'flatMap' was...原创 2020-02-28 10:31:50 · 791 阅读 · 0 评论 -
Spark SQL 入门应用 DataFrames
目录 一sparkSQL简介 二DSL风格应用 三SQL风格语法 一sparkSQL简介 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 为什么要学习Spark SQL 我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大...原创 2019-12-03 11:39:28 · 159 阅读 · 0 评论