![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
路人万
不积跬步,无以至千里;不积小流,无以成江海。
展开
-
spark编译spark-core错误 Cannot run program “bash“: CreateProcess error=2, 系统找不到指定的文件
在spark源码目录下使用gitbash执行命令./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.5 -DskipTests clean package即可此处可以修改hadoop的版本 如本处为2.6.5原创 2021-04-26 16:18:17 · 757 阅读 · 0 评论 -
SPARK读取HDFS文件
sc.textFile("hdfs://polo:9000/sparktest/data.txt");//polo是你的主机名原创 2021-03-25 16:20:30 · 1600 阅读 · 0 评论