![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
葫芦娃九爷爷
溜了溜了
展开
-
Spark的RDD怎么以CSV格式保存到HDFS上?
一般在Spark开发过程中,有时候存在将RDD的结果直接保存为CSV文件的这种需求,那么如何将RDD直接保存为CSV文件写到HDFS上呢? 1.在SparkSQL的API中,目前支持将DataFrame的write()可以将DataFrame直接保存为CSV文件,只需指定保存文件路径。 形如:DataFrame.write.csv("Path") 2.但对于Spark任务往往得到的是RDD的结果,而并非DataFrame,这种RDD是不能够直接调用write()方法的,因此需要先将RDD转为DataFram原创 2020-12-03 15:41:13 · 2923 阅读 · 1 评论 -
Spark任务部署模式之yarn-client与yarn-cluster的区别
Spark任务部署模式之yarn-client与yarn-cluster的区别 Spark on Yarn的方式有两种,分别是yarn-client和yarn-cluster,这是在Spark提交任务时通过Spark-submit --deploy-mode指定的,这两种模式有什么区别呢?什么时候使用客户端模式,什么情况使用集群模式呢? 其实最大的区别在于当任务工作后,Dirver端进程在哪里启动? 1.我们使用spark-submit提交任务的所在节点,也就是Master节点,使用客户端模式时,其节点启原创 2020-09-23 10:15:02 · 524 阅读 · 1 评论