- 博客(5)
- 收藏
- 关注
RSS订阅原创 运行spark程序报错：Failed to locate the winutils binary in the hadoop binary path
在我的win7 idea环境下,运行spark程序，报错：ERROR Shell: Failed to locate the winutils binary in the hadoop binary path看报错信息，应该是在hadoop目录下找不到winutils于是，百度了一下，发现要下载hadoop-common-2.2.0-bin去github下载，https://github...
2019-05-23 01:19:38
258
原创 IDEA搭建Spark开发环境
建工程Maven，选择org.scala那一项pom文件scala版本官网上找配置文档添加scala依赖 和spark依赖 hadoop依赖变量如果看不到导入的jar包，需要pom文件重新reimport红色波浪线报错，原因默认cdh仓库访问不到解决：加cdh 仓库地址https://repository.cloudera.com/artifactory/cl...
2019-05-23 00:10:44
1113
原创 Spark编译安装
Spark环境搭建权威：http://spark.apache.orghttps://github.com/apache/spark源码下载安装包：(1)、官网pre-build 预编译我们的要求是Spark必须是自己编译的选择源码选tgz，就是tar.gz(2) github(3) git clone https://github.com/apache/sp...
2019-05-21 01:42:49
445
原创 安装IDEA
安装idea一直下一步我这里勾64-bit launcher打开软件激活可参考：https://blog.csdn.net/zhangwenwu2/article/details/54948959License Server用的是 http://idea.toocruel.net，亲测可用改maven 路径没安装 scala jdk 会出现no scala...
2019-05-07 00:51:22
201
原创 安装JAVA JDK
安装JAVA JDK1.1 安装我安装的版本是jdk-8u162-windows-x64.exe，如下图所示，一直默认下一步1.2 配置环境变量看下自己安装的jdk在哪个路径打开环境变量新建 JAVA_HOMEC:\Program Files\Java\jdk1.8.0_162 ，这里是自己安装的jdk路径新建 ClassPath.;%JAVA_HOME...
2019-05-06 00:47:24
578
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人