![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
碧玉笙
从事Java开发10年。现在主要是J2EE,前台主要JQuery+HTML,后台服务端框架SSH,以及Mybatis都使用过。最近用SpringMVC开发项目。
展开
-
Spark在windows环境里跑时报错找不到org.apache.hadoop.fs.FSDataInputStream
由于最开始图省事,也是为了学习Spark的用法,所以搭了一个本地的测试Spark环境,hadoop也是本地单机版(测试没有问题)。在idea中写了一个基础的求和的spark程序,跑起来后报找不到FSDataInputStrea,上网搜了好久,基本上都是说是配置文件里没有把hadoop路径加进来的,我试过按照搜出来的改,没有用。后来调整了下POM文件的spark相关jar包的引用,在启动就没问题了。...原创 2019-07-15 11:48:23 · 3148 阅读 · 0 评论 -
hive执行insert语句时,MapReduce进度一直是0%
修改yarn-site.xml中的yarn.nodemanager.resource.memory-mb值大小(2G->4G)原先设置<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value><...转载 2019-07-16 10:57:06 · 5314 阅读 · 0 评论