学习实践与记录
布衣清水
这个作者很懒,什么都没留下…
展开
-
IDEA中编译maven打包中出现 Perhaps you are running on a JRE rather than a JDK的问题解决
LZ是在IDEA新建的maven项目,到DOS界面打包时,提示:[ERROR] No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK这个报错的意思是maven需要JDK环境而不是JRE环境。网上搜了一堆都是修改eclipse的环境配置,而我用的是...原创 2018-05-01 16:52:59 · 19305 阅读 · 5 评论 -
安装scala出现Failed to initialize compiler以及IDEA中编写scala程序出现错误: 找不到或无法加载主类问题的解决
主要是解决以下两类问题: 1)在安装scala时出现: Failed to initialize compiler: object java.lang.Object in compiler mirror not found. 具体见下: 2)在IDEA中构建maven项目,用scala编写时,出现: 错误: 找不到或无法加载主类 原因: java.lang.ClassNotFoun...原创 2018-06-04 14:21:00 · 11046 阅读 · 5 评论 -
Spark开发:Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure问题
LZ最近在用spark清洗日志信息时(Scala编程),出现了一条异常: Exception in thread “main” org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: 追朔异常日...原创 2018-06-11 21:53:01 · 61454 阅读 · 8 评论 -
windows64位在IDEA下配置pyspark环境
之前一直在用scala,用IDEA配合maven使用,就没有在本地搭建spark环境,现在改用python,发现配置麻烦了很多,记录下,方便参考: 1)本地已经装好了JDK1.8,IDEA2017,scala2.11.8 2)先安装python,这里装的是2.7.15,下载地址:python安装包官网下载 安装后记得配置环境变量,命令行输入python,如下图所示即成功: 在IDEA中搜p...原创 2018-06-13 21:47:31 · 2143 阅读 · 0 评论