![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SparkSQL
蒙着面会很强
这个作者很懒,什么都没留下…
展开
-
SparkSql如何创建DataFrame
一,如果构建SparkSession import org.apache.spark.sql.SparkSession; 1,SparkSession.builder().getOrCreate(); 2,SparkSession.builder .master("local") .appName("Word Count") .config("spark.some.confi...原创 2018-10-25 15:11:37 · 242 阅读 · 0 评论 -
DataFrame与RDD之间的转换
首先重重之中 import sparkSession.implicits._ //导入隐式参数 rdd 转为DataFrame rdd中的元素格式必须为元组,不能为Row DataFrame 转为RDD , .rdd即可 一个DaraFrame 转为另个一DataFrame, 需要先经过map, 将Row类型转换为元组,然后调用toDF ...原创 2018-10-31 10:29:20 · 805 阅读 · 0 评论 -
SparkSQL工作中遇到的问题
1,当多个表中存在相同的字段,查询时要使用别名,否则程序无法区分,如下: val sql = """ |select |a.id as a_id,a.name as name,b.id as b_id,b.score as score //如果两个表有些字段相同,在查询时要使用别名,程序无法识别 |from stu a |left join score...原创 2018-10-31 10:32:18 · 598 阅读 · 1 评论 -
SparkSql中的方法
1,去掉空值 df.na.fill() 如果想把空值全部替换为"" ,那么只需在方法中填写"" 如果想把某些字段为空的替换,那么需填写一个map, Map("字段"->替换后的值,,,,,), map中可以存放多个字段与替换后的值的映射...原创 2018-10-31 10:37:59 · 215 阅读 · 0 评论