![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 89
蓝色水彼
毕业以来一直从事并热爱大数据开发相关工作。离线与实时数据开发;通用型数据产品;Hadoop、spark、flink、druid等大数据生态组件使用。
展开
-
使用idea和maven开发和打包scala和spark程序
使用idea构建maven管理的scala和spark程序,默认已经装好了idea、scala并在idea中安装了scala插件。一、新建Maven项目二、Hello world三、导入spark依赖四、编写spark代码五、打包到服务器spark运行...原创 2018-07-06 12:44:13 · 5969 阅读 · 7 评论 -
使用Idea和Maven执行Spark源码中Mllib的示例
Spark源码中提供了全面的Mllib使用案例,其实我们可以很简单的利用Idea和Maven修改打包这些示例,上传到Spark客户端执行。原创 2018-07-06 20:31:33 · 3777 阅读 · 0 评论 -
Spark Cluster Mode Overview
本文档描述spark如何在集群运行,便于理解过程中包含的组件。请阅读application submission guide来了解如何向集群提交程序。 Components spark程序在集群中作为独立的线程集合运行,由主程序(driver程序)中的SparkContext对象来协调。 特别地,SparkContext可以连接几种不同的集群管理者(如standalone集群管理、Mesos...原创 2019-04-04 18:29:43 · 259 阅读 · 0 评论