Hadoop学习
大小宝
虽然长得黑,但本质是小白! 努力学习!
展开
-
Hadoop集群在Ubuntu上的安装与配置 ——(01)环境前期准备
说明:本小白嵌入式开发方向,零基础接触大数据Hadoop开发,作为小白学习Hadoop入门实在太困难了。所以在这里记录Hadoop的学习过程,为同样零基础的小白学习Hadoop减少困难。 本文搭建的是Hadoop单节点伪分布式集群,单节点集群,即NameNode在server01上,其他5台机器均为DataNode 准备:VMware软件、六台Linux虚拟机(≥2台)、Xsh...原创 2018-03-06 09:51:44 · 703 阅读 · 0 评论 -
大数据生态系统架构
Hadoop MapReduce属于Hadoop生态体系之一,Spark属于BDAS生态体系之一。 目前Hadoop有两种版本:Apache和CDH版本。 一、优缺点 Apache版本 CDH版本 Kafka和flume对比 kafka和flume都是日志系统。kafka是分布式消息中间件,自带存储。flume分为agent(数据采集器),collector(数据简单...原创 2018-08-08 14:08:57 · 3819 阅读 · 0 评论 -
Spark序列化
Java序列化的含义 Spark是基于JVM运行的,其序列化必然遵守Java的序列化规则。 序列化就是指将一个对象转化为二进制的byte流(注意,不是bit流),然 后以文件的方式进行保存或通过网络传输,等待被反序列化读取出来。序列化常被用于数据存取和通信过程中。 对于java应用实现序列化一般方法: class实现序列化操作是让class 实现Serializable接口,但实现该接口...原创 2018-08-08 14:10:45 · 810 阅读 · 0 评论