spark开发环境搭建
关注
分享
扫一扫
文章平均质量分 79
Books易
这个作者很懒，什么都没留下…
展开
-
利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程）(一)
本文的目的：利用Intellij Idea在windows搭建spark 开发环境 环境：windows 10, intellij idea2016.1.1, spark 1.6.2(HDP),hadoop2.7.3(HDP)，scala 2.10.5(编译环境), sbt管理依赖 背景：spark单点运算不能解决大数据的问题的时候，就需要使用spark-submit 调用jar包的方式分布式原创 2017-01-16 15:20:53 · 4805 阅读 · 1 评论 -
使用spark-submit提交jar包到spark standalone集群(续)
继续上篇文章利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程）(一) 以及 Sparksql处理json日志[要求sparksql统计json日志条数存入mysql数据库] 本章将把打好的jar提交到集群运行。[如何打jar 包请看上文第一篇] 环境：centos7,windows10,intelli原创 2017-01-16 21:53:28 · 7168 阅读 · 0 评论