今天早上开开心心的打开了IDEA,新建了项目,导了包。却发现各种错误,一个错误接着一个错误。网上的教程真是。。。一个抄一个,仔细的找个bug之后,发现了太多如下的问题,一一解决,最后终于勉强运行成功了。
为了少走坑,在仔细看了spark源码包的pom后,发现用的scala的版本是
避免冲突,下scala的版本也下这个。什么?!你说官网下的太慢了?没事!我搞个网盘 https://pan.baidu.com/s/1pMk7u0F 密码:zqxm
好了,现在可以新建Maven项目了
按照官网的提示,在pom里增加依赖
对~ 一切就是这么的简单明了开心大方。。当我新建了一个object测试一下后
简单的代码 就是遍历一下子 为啥给我抛个异常说缺包,而且这个包Maven都包括进去了
点开异常信息 缺告诉我这个包的这个类什么只读。。更加蒙圈了。。。(源码本来就是只读嘛!这只是加不进去而已)
百度上都说改变Maven的pom文件来改变这个包的版本,毫无卵用,导来导去我还是这个错误。既然Maven不好使就自己导一个包试试,下载commons-lang这个可恶的jar包
,还是为了避免不必要的麻烦,这次我退一个版本下个3.5的
点击项目--》摁键盘上的F4(或右键项目点Open Model Settings)--》
把commons-lang导入到library。
还没有commons-lang这个包? 我也准备了
链接:https://pan.baidu.com/s/1pMqCXpp 密码:j6p7
接下来以为就这样就搞定了!
可是。。。。。。
和上一个异常一个毛病。。但是这次的包是
commons-collections 版本3.2.2
一样的操作来一遍,,我还是准备了包
链接:https://pan.baidu.com/s/1mjAvTdY 密码:l5ic
。。。。哇!总算忙完了,以为这样就万事大吉了,可是还有毛病
啊。。原来是winutils.exe啊,这个就好搞的多,把下载Hadoop配置环境变量,或者直接在Spartconf()下面加一条
System.setProperty("hadoop.home.dir","[你的Hadoop位置]")
Windows调试hadoop教程一大堆,这里就不赘述了,我直接用第二种方法
终于成功了。。。。。。。
---屁!
在台式机成功了~但是在笔记本上又失败了
WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
Cannot assign requested address: bind: Service 'sparkDriver' failed after 16 retries!
多么熟悉的bug啊~这不就是传说中的改Spark_env.sh 么
不就是加个 SPARK_LOCAL_IP=127.0.0.1 么
是!完美解决~屁! 那是在Linux上面的完美解决~
我在windows上面哪有Spark_env.sh啊!
于是~ 我遐想,下个Spark放在windows上配置一个环境变量??或者改Java虚拟机的代理列表
但是都是一一失败了。
最后我还得感谢以为github上的一个老外,他的一句话点醒了我
```
在创建Sparkconf时加入
set("spark.driver.host", "192.168.1.103")
set("spark.driver.port", "7077")
```
虽然这不是必要的!但是在IDEA中调试,或者运行在单机中还是至关重要的!
专治Bug的我~~心灵上得到的充分的满足!
看更多傻瓜教程就上我GitHub:g5539220y.github.io
我是傻瓜~我的教程是傻瓜教程
-----假程序员