- 博客(5)
- 收藏
- 关注
RSS订阅转载 Mapreduce工作流程及部分类探究
Mapreduce工作流程按照时间顺序包括：输入分片（input split）、map阶段、combiner阶段、shuffle阶段和reduce阶段。1.输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务输入分片（
2017-07-23 21:59:21
583
转载 HDFS IO操作总结
Hadoop IO操作意义Hadoop自带一套用于I/O的原子性的操作（不会被线程调度机制打断，一直到结束，中间不会有任何context switch）特点基于保障海量数据集的完整性和压缩性 Hadoop提供了一些用于开发分布式系统的API（一些序列化操作+基于磁盘的底层数据结构）一、数据完整性hdfs写入的时候计算出校验和，然后每次
2017-07-20 21:17:11
2255
转载 HDFS 主从结构以及读写策略探究
一、HDFS的一些基本概念： 数据块（block）：大文件会被分割成多个block进行存储，block大小默认为64MB。每一个block会在多个datanode上存储多份副本，默认是3份。namenode：namenode负责管理文件目录、文件和block的对应关系以及block和datanode的对应关系。datanode：datanode就负责存储了，当然大部分容错机制都
2017-07-19 21:34:46
3233
原创 UTF-8编码格式导致编码GBK的不可映射字符问题
public class DivTest{ public static void main(String[] args) { double a = 5.2; double b = 3.1; double div = a/b; System.out.println(div); System.out.pr
2016-04-15 20:20:35
612
原创 web前端初步学习的自我总结
谈到网页制作，作为一个大二的软件工程专业的学生，不得不惭愧得说一句自己是个菜鸟，不是一般的菜。前阵子完成一个15个html文件的网页都弄了好几天，折腾在HTML，CSS，Javascript三者之间。弄完这个网页后也没多想，正好今天趁这个机会总结一下自己的一些制作过程中的所思所想吧。刚开始准备做网页时，说真的有些不知道从哪里下手，到底是用div稿许多模块出来还是先用iframe弄出个框架，好吧其实压
2015-11-16 20:17:39
5166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人