- 博客(3)
- 资源 (17)
- 收藏
- 关注
原创 Spark序列化
Java序列化的含义Spark是基于JVM运行的,其序列化必然遵守Java的序列化规则。序列化就是指将一个对象转化为二进制的byte流(注意,不是bit流),然 后以文件的方式进行保存或通过网络传输,等待被反序列化读取出来。序列化常被用于数据存取和通信过程中。对于java应用实现序列化一般方法:class实现序列化操作是让class 实现Serializable接口,但实现该接口...
2018-08-08 14:10:45 820
原创 大数据生态系统架构
HadoopMapReduce属于Hadoop生态体系之一,Spark属于BDAS生态体系之一。目前Hadoop有两种版本:Apache和CDH版本。一、优缺点Apache版本CDH版本Kafka和flume对比kafka和flume都是日志系统。kafka是分布式消息中间件,自带存储。flume分为agent(数据采集器),collector(数据简单...
2018-08-08 14:08:57 3836
原创 IDEA环境中Scala程序无法运行--找不到或无法加载主类
说明:最近大概两周没有打开过IDEA,大概是IDEA感觉自己失宠了,便开始抽风,双击打开IDEA的时候弹出来输入Active Code的界面,我还很奇怪,输入完破解成功打开工程之后,发现之前工程里的scala程序都是黑体字,无法识别scala语言。错误:找不到或无法加载主类 cn.study.spark.Top3s一、错误情况如下图,运行工程,在IDEA下面Run的调试...
2018-08-08 14:06:32 50207 5
最新hyperledger fabric-实战视频教程-下载地址.rar
2020-09-09
numpy-1.14.0+mkl-cp37-cp37m-win_amd64
2018-07-19
Huawei LiteOS_STM32_DEMO
2018-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人