hadoop
sakurahzy
这个作者很懒,什么都没留下…
展开
-
MapReduce的核心思想编程
案例需求:统计一个文件(存储的都是单词)200m,查询每个单词出现的次数,(a-i开头的放在一个文件)<j-z开头的放在另外一个文件> datanode200m; datanode默认128m;因此数据分成两快;1.map阶段;调用MapTask任务:第一个datanode数据块:读数据;按行处理;切分;HashMap<单词,value+1>;处理完成后按...原创 2018-10-23 15:48:09 · 336 阅读 · 0 评论 -
hadoop数据类型
hadoop的序列化在数据传输的过程中,存储在内存中传输的数据,解决数据在传输过程中因网络传输故障出现的断裂现象。把内存当中正在运行的数据对象,转换成字节序列以便于存储和网络传输反序列化:将收到的字节序列或者硬盘的持久化数据,转换成内存中的对象。 java的序列化:Serializablejava的序列化是一个重量级序列化,会附带很多额外的信息,(效验信息,头信息,继承体系...原创 2018-10-23 18:52:40 · 495 阅读 · 0 评论