![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 78
TheBestAI
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记之hdfs
hadoop distributed file system(1)hdfs的架构和原理:hdfs采用master/slave的结构来存储数据,这种架构主要有四个部分组成:client、namenode、datanode、secondary namenode; client:就是客户端1、文件切分。在上传文件的时候,client将文件切分为一个个的block。然后进行存储。...原创 2018-10-08 21:04:12 · 148 阅读 · 0 评论 -
学习笔记_mapReduce
一个分布式并行计算框架 MapReduce作为计算框架,一定会有input和output,它本身完成了一个单一的工能,就是排序,在MapReduce里边,所有的数据被统一成一种格式:<key,value>的形式,这其实也是一种掣肘。MapReduce对读入的数据的key进行排序,然后经过用户自定义的逻辑之后输出到hdfs。 MapReduce的原理及运行流程:...原创 2018-10-16 21:54:19 · 144 阅读 · 0 评论