win7下IDEA maven scala环境配置及wordcount遇到的坑

最新推荐文章于 2021-07-29 21:11:50 发布

贪狼切

最新推荐文章于 2021-07-29 21:11:50 发布

阅读量315

点赞数

分类专栏：大数据文章标签： scala maven idea wordcount

本文链接：https://blog.csdn.net/tanlangqie/article/details/90319171

版权

大数据专栏收录该内容

4 篇文章 0 订阅

订阅专栏

IDEA maven scala环境配置自己折腾了两天。
看了网上环境配置的文档和慕课的视频教程，被弄得迷迷糊糊的。这里自己梳理一下，希望对大家有所帮互助。

环境安装可以参考着两个网站：
https://blog.csdn.net/chengyuqiang/article/details/77925606
https://www.jianshu.com/p/32b74feb55e2
其中，第二个网站是对第一个网站部分细节的补充的纠正，两个结合起来看。

自己还躺过不少坑：，例如：新建项目的时候没有scala选项，如下图
在这里插入图片描述
按照教程标注为“2”的框框应该有scala才对，为什么我的没有？？？？？这是因为IDEA的版本问题，在2处选择IDEA即可。
还有坑为：项目建好了，需要新建scala class的时候发现自己没有scala class这个选项，，，，这个是没有将src等目录设置为Sources Root的原因，手动设置一下即可。
还有其他坑记不得了，如果您有遇到可以互相交流学习。
+++++++++++++++++++++++++++++++

下面说说实现wordcount时候遇到的坑。
报错1：hadoop-Failed to locate the winutils binary in the hadoop binary path
解决方案3步：
在这里插入图片描述
3.在object wordcount中加入这句代码

System.setProperty("hadoop.home.dir", "D:\\hadoop_common_2.2.0")

后面的路径就是步骤1中的解压路径。

报错2：

ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: System memory 435879936 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
解决方案：https://www.douban.com/note/649256439/

这是自己在配置环境中遇到的一些坑，其中还有很多东西没搞清楚，例如：maven中pom.xml关于依赖包的那块，刚接触scala我是懵逼的，不知道跑个word count需要依赖什么包，一切都在摸索中前进，加油加油加油。