![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
weixin_39578092
这个作者很懒,什么都没留下…
展开
-
idea 新建项目并打包(java,spark)
1.idea新建一个工程 2.创建maven工程 3.创建工程名 4.注意勾选的就可以了 5.继续点击finish 就可以了 6.这里的java 不为source ,直接选ctrl+alt +s ,搜索 maven =》 import =》勾选 即可 7.修改pom 文件 <dependencies> <dependency>...原创 2020-02-19 20:44:46 · 496 阅读 · 0 评论 -
Spark-SQL之DataFrame操作大全
Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作,在DataFrame中都可以通过调用其API接口来实现。可以参考,Scala提供的DataFrame API。 本文中的代码基于Spark-1.6.2的文档实现。 一、DataFrame对象的生成 Spark-SQL可以以其他RDD对象、parquet文件、json文件、hi...转载 2018-08-16 17:45:52 · 152 阅读 · 0 评论