- 博客(5)
- 收藏
- 关注
RSS订阅原创 zeppline 报大量的 Failed to allocate a page 错误
跑SQL就报这个问题, spark 很卡WARN [2019-01-25 07:23:33,827] ({broadcast-exchange-0} TaskMemoryManager.java[allocatePage]:300) - Failed to allocate a page (2097152 bytes), try again. WARN [2019-01-25 07:23:34...
2019-01-25 20:54:51
1152
原创 眼看着spark job就要完成了, 遇到一个空指针错误 ,job失败了
看了一下spark的源码/** Overridden make copy also propagates sqlContext to copied plan. */ override def makeCopy(newArgs: Array[AnyRef]): SparkPlan = { SparkSession.setActiveSession(sqlContext.sparkSes...
2019-01-25 20:25:16
684
原创 A fatal error has been detected SIGSEGV (0xb)
## A fatal error has been detected by the Java Runtime Environment:## SIGSEGV (0xb) at pc=0x00007f231f01ee1b, pid=5948, tid=139787906176768## JRE version: Java(TM) SE Runtime Environment (8.0_60...
2019-01-25 18:13:29
2555
原创 python windows10 安装 记录
最近在整spark-jobserver想在windows上面打包编译,遇到一系列问题,使用sbt assembly集成中,遇到一个python的乱码报错, 不知何故, 先把python安装起来吧.下载地址https://www.python.org/downloads/写这个博客的时候最新版本是 3.7.2下载windows版本的, 进入下载页,会自动识别系统双击安装就完事了…没啥特...
2019-01-09 17:07:29
126
原创 编译spark job server 时, 遇到sbt 编译 scala的情况 , 在idea sbt 换源时遇到的坑
编译spark job server 时, 遇到sbt 编译 scala的情况 , 在idea sbt 换源时遇到的坑先说一下失败的几个情况首先我是本地自己下载了一个sbt, 在idea的shell里面 使用sbt的命令进行操作但是源一直是repo1.maven.org而这个源却是用不了的于是准备换源一般网上的做法就是在用户根目录下的 .stb目录新建一个文件 repositorie...
2019-01-09 13:08:44
250
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人