Hadoop MapReduce
科大人
喵~
展开
-
hadoop MapReduce概念与思想
MapReduce 概念 Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析应用”的核心框架; Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 hadoop 集群上。转载 2019-03-02 17:35:33 · 246 阅读 · 0 评论 -
hadoop MapReduce Writable序列化
1、定义与作用 序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储(持久化)和网络传输。 反序列化就是将收到字节序列(或其他数据传输协议)或者是硬盘的持久化数据,转换成内存中的对象。 Java 的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,header,继承体系等),不便于在网络中高效传输。所以,hadoop 自己开发了一套序列化机制(Writable),精简、高效。(Protobuf:转载 2019-03-07 10:33:11 · 248 阅读 · 0 评论