Spark教程
文章平均质量分 75
Spark教程
大小宝
Whole bikaqiu
展开
-
IDEA环境中Scala程序无法运行--找不到或无法加载主类
说明:最近大概两周没有打开过IDEA,大概是IDEA感觉自己失宠了,便开始抽风,双击打开IDEA的时候弹出来输入Active Code的界面,我还很奇怪,输入完破解成功打开工程之后,发现之前工程里的scala程序都是黑体字,无法识别scala语言。错误:找不到或无法加载主类 cn.study.spark.Top3s一、错误情况如下图,运行工程,在IDEA下面Run的调试...原创 2018-08-08 14:06:32 · 50275 阅读 · 5 评论 -
大数据生态系统架构
HadoopMapReduce属于Hadoop生态体系之一,Spark属于BDAS生态体系之一。目前Hadoop有两种版本:Apache和CDH版本。一、优缺点Apache版本CDH版本Kafka和flume对比kafka和flume都是日志系统。kafka是分布式消息中间件,自带存储。flume分为agent(数据采集器),collector(数据简单...原创 2018-08-08 14:08:57 · 3836 阅读 · 0 评论 -
Spark序列化
Java序列化的含义Spark是基于JVM运行的,其序列化必然遵守Java的序列化规则。序列化就是指将一个对象转化为二进制的byte流(注意,不是bit流),然 后以文件的方式进行保存或通过网络传输,等待被反序列化读取出来。序列化常被用于数据存取和通信过程中。对于java应用实现序列化一般方法:class实现序列化操作是让class 实现Serializable接口,但实现该接口...原创 2018-08-08 14:10:45 · 821 阅读 · 0 评论