- 博客(9)
- 收藏
- 关注
原创 zeppline 报大量的 Failed to allocate a page 错误
跑SQL就报这个问题, spark 很卡WARN [2019-01-25 07:23:33,827] ({broadcast-exchange-0} TaskMemoryManager.java[allocatePage]:300) - Failed to allocate a page (2097152 bytes), try again. WARN [2019-01-25 07:23:34...
2019-01-25 20:54:51
1151
原创 眼看着spark job就要完成了, 遇到一个空指针错误 ,job失败了
看了一下spark的源码/** Overridden make copy also propagates sqlContext to copied plan. */ override def makeCopy(newArgs: Array[AnyRef]): SparkPlan = { SparkSession.setActiveSession(sqlContext.sparkSes...
2019-01-25 20:25:16
683
原创 A fatal error has been detected SIGSEGV (0xb)
## A fatal error has been detected by the Java Runtime Environment:## SIGSEGV (0xb) at pc=0x00007f231f01ee1b, pid=5948, tid=139787906176768## JRE version: Java(TM) SE Runtime Environment (8.0_60...
2019-01-25 18:13:29
2542
原创 python windows10 安装 记录
最近在整spark-jobserver想在windows上面打包编译,遇到一系列问题,使用sbt assembly集成中,遇到一个python的乱码报错, 不知何故, 先把python安装起来吧.下载地址https://www.python.org/downloads/写这个博客的时候最新版本是 3.7.2下载windows版本的, 进入下载页,会自动识别系统双击安装就完事了…没啥特...
2019-01-09 17:07:29
126
原创 编译spark job server 时, 遇到sbt 编译 scala的情况 , 在idea sbt 换源时遇到的坑
编译spark job server 时, 遇到sbt 编译 scala的情况 , 在idea sbt 换源时遇到的坑先说一下失败的几个情况首先我是本地自己下载了一个sbt, 在idea的shell里面 使用sbt的命令进行操作但是源一直是repo1.maven.org而这个源却是用不了的于是准备换源一般网上的做法就是在用户根目录下的 .stb目录新建一个文件 repositorie...
2019-01-09 13:08:44
249
1
转载 获取泛型的实际类
Class<T> entityClass = (Class<T>) ((ParameterizedType) getClass().getGenericSuperclass()).getActualTypeArguments()[0];
2018-12-01 00:19:19
88
原创 本地Linux 环境 standalone模式启用spark 2.4 集群
spark 2.4 资源下载地址https://www.apache.org/dyn/closer.lua/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz文档地址http://spark.apache.org/docs/latest/index.html我的本地电脑是win10, 启用了ubuntun 系统, 所以下载后,将文件移动至Lin...
2018-11-30 17:18:24
222
原创 从一段错误开始 Geode 源码之旅
gfsh&gt;start server --name=server1 --locators=127.0.0.1[10334] --server-port=0Starting a Geode Server in C:\tools\apache-geode-1.7.0\bin\server1...The Cache Server process terminated unexpectedly w...
2018-11-30 10:48:37
583
原创 Oplog 分析
OpLog 实现了 CompactableOplog, Flushable有三种类型的oplog文件, crf, drf,krf private final OplogFile crf = new OplogFile(); private final OplogFile drf = new OplogFile(); private final KRFile krf = new KRF...
2018-11-30 10:48:22
735
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人