- 博客(3)
- 收藏
- 关注
RSS订阅原创 帮小朋友参加写小程序比赛的总结
最近还是挺忙的，由于要帮小朋友参加比赛，导致我需要尽量早回家，╮(╯▽╰)╭，就算这样时间也不多，本来就比较紧张，又要工作，所以总共花了这些时间写了一个非常简单的小程序，内容么，没有具体要求，本来我也不认识小朋友，只是别人拜托的，所以看了看大致的要求，一开始打算写个俄罗斯方块啦，2048之类的了事了，后来想了想，写都写了，虽然不是自己用，就好好写吧。于是认真想了一个学习英语的小东西，类似闯关，答题...
2018-03-22 23:53:26
434
原创 Spark学习笔记:OutOfMemoryError-Direct buffer memory (OOM)
OOM可能的原因有以下几点：1. 用户代码off heap: 资源释放不当, 例如加载文件资源次数过多, 且不正常关闭, 例如多次调用ClassLoader().getResourceAsStream2. Driver端DirectMemory: 拉取Executor端Task Result数据回Driver节点时, 此处消耗的DirectMemory内存 = conf.getInt("spark.resultGetter.threads", 4) * TaskResultSize3. E
2018-03-14 11:06:44
6329
1
原创 Spark学习笔记:local class incompatible
前段时间往用户画像的hive表里增加了一个字段，之后提交作业一直报找不到这个方法的错，过了好久才突然想起来，我提交的jar包并没有更新(真是傻)...更新了jar包之后，出现了local class incompatible这个错，也就是序列化版本不一致的问题。于是开始各种找解决方案，大部分人的解决方法都是在序列化的class定义中，手动指定一个序列化的版本号，但由于我并不
2018-03-14 10:34:07
3141
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人