spark
风中追风风
博客内容只做个人笔记,博客时间不代表实践时间,内容仅供参考,我1925432244,nifi大师群:492666008
展开
-
2.Spark编程模型(上)--概念及SparkShell实战
1 Spark编程模型 1.1 术语定义应用程序(Application): 基于Spark的用户程序,包含了一个Driver Program 和集群中多个的Executor;驱动程序(Driver Program):运行Application的main()函数并且创建SparkContext,通常用SparkContext代表Driver Program;执行单元(Executo转载 2017-04-13 11:28:48 · 830 阅读 · 0 评论 -
1.如何配置Eclipse来使用Java编写Spark App
1. 环境准备Eclipse 请不要使用最新的 Neon(4.6) ,太多Bug了。 还是使用最新的Mars(4.5) 系列吧 JDK 版本8.x (Linux推荐Oracle, 没有测试过OpenJDK)因为只是用Java,因此无需安装Scala及其相应的插件2. 创建一个新的maven项目3. pom.xmldependency> groupId>or转载 2017-03-28 15:41:45 · 1044 阅读 · 0 评论