![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 62
fenghaichun
宇宙神仙大学
展开
-
spark官方文档阅读笔记1
spark官方文档阅读笔记1sparkContext的初始化val conf = new SparkConf().setAppName(appName).setMaster(master)new SparkContext(conf)如果在本地运行,则master的值为"local",如果在集群运行,则值为master主机的ip地址,问题:如果在yarn运行呢? 参考文档原创 2017-11-09 18:29:09 · 323 阅读 · 0 评论 -
spark windows环境下开发环境快速搭建。
spark本地练习环境搭建练习环境搭建为了避免搭建环境阻塞对spark本身的学习(当然这部分也很重要,当对spark本身有了基本了解后应该学习这部分内容),可采用本地的模式快速搭建练习环境,具体环境搭建参考:Spark在Windows下的环境搭建 本人亲测可用,希望对入门大数据的朋友有所帮助。IDEA开发环境搭建在有了上面的环境之后,可以在spark-shell下进原创 2017-11-09 18:32:40 · 567 阅读 · 0 评论 -
spark与scala版本问题
异常信息:java.lang.NoSuchMethodError: scala.Product.$init$事情的经过是这样的:1. 使用spark最新版本2.2.0测试SparkSql的DataFrame及Dataset的时候抛出这个异常。2. 开始怀疑是scala版本问题,于是没多想安装了scala最新版本2.1.2.4,然而依然报这个错。3. 郁闷好久,甚至去研究ca原创 2017-11-14 16:06:45 · 13480 阅读 · 2 评论