![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
sp_ur
这个作者很懒,什么都没留下…
展开
-
IntelliJ IDEA 创建 spark 项目
1.创建新项目: 2.选择 Maven ——》选择SDK ——》Next 3.起好名字 4.右键在 Main 文件夹下的 java 源码包(蓝色为源码包,灰色为普通文件夹) 右键 java ——》new 发现没有 scala class 选项。 5.点击此选项,导入 scala SDK 6.然后右键在 Main 文件夹下的 java 源码包,发现可以新建...原创 2018-09-13 10:11:08 · 7375 阅读 · 1 评论 -
Spark
Spark 有着 DAG(有向无环图)执行引擎,支持离散数据流和内存计算 spark 组件: 1. Spark core :所有功能在其上进行构建 2. SQL:在 core 之上引入的一个新的数据集抽象(SchemaRDD),支持结构和半结构化数据。RDD:弹性可复原的分布式数据 集 3. Spark Streaming:平衡 spark 内核的快速调度功能执行流分析。 ...原创 2018-10-27 16:26:50 · 355 阅读 · 0 评论