- 博客(4)
- 收藏
- 关注
RSS订阅原创 利用python中的numpy模块实现图片的读写
代码实例： import numpy as np import os import PIL.Image as image import pickle class fenxi(): xieru="result.bin" def chuantu(self,dir): list=os.listdir(dir) imgg=[] f...
2018-07-20 15:36:18
1368
原创 考研数学公式大全53个
摘要：考研数学公式是解题的基础，历年真题考查中总会有一些，直接套用公式就可以解答的试题，如果此时你忘记了公式，那就尴尬了。下面整理总结考研数学中常用的53个公式，大家务必要掌握好！ ...
2018-07-20 15:34:17
4084
原创 shuffle file cannot find的问题
调节Executor的堆外内存 Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存。默认情况下，这个堆外内存上限默认是每一个executor的内存大小的10%；真正处理大数据的时候，这里都会出现问题，导致spark作业反复崩溃，无法运行；此时就会去调节这个参数，到至少1G（1024M），甚至说2G、4G...
2018-07-20 15:23:27
482
原创 Akka双向通信
spark 1.6之前底层是 Akka Akka底层是actor park1.6版本之前，spark分布式节点之间的消息传递使用的就是Akka，底层也就是actor实现的。1.6之后使用的netty传输 代码： case class Message(actor:Actor,msg:Any) class Actor1 extends Actor{ def ...
2018-07-20 15:20:36
387
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人