![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据之路
小小白要努力成长啊
这个作者很懒,什么都没留下…
展开
-
hdfs设计和概念
hdfs设计 建立思想在:一次写入、多次读取的模式 为什么设计块 1.简化存储子系统,容错性和实用性比较高; 2.一个文件可以大于网络任何一个磁盘的容量。把文件分块,文件就不需要存储在同一个磁盘里面了。 namenode和datanode hdfs是管理者和工作者的设计模式。 namenode管理的是文件系统的命名空间,包括文件系统树、以及这个树内所有的文件和索引目录。以两种形式存储在本地磁盘:editlog(编辑日志)和fsimage(命名空间镜像)。 datanode是工作者:存储并提供定位块的服务(被原创 2020-09-24 14:45:49 · 190 阅读 · 0 评论 -
hadoop中combiner的作用
之前一直很困惑combiner有什么用,这次看了书有了一些理解的 hadoop允许用户声明一个combiner,运行在map的输入上,函数的输出作为reduce函数的输入。 比如: 对这样的语句"daddy finger, daddy finger, where are you, here I am, here I am, how do you do"进行workcount。 有两个map分别处理三个短句, map1的输出结果是:<daddy, 1> <finger, 1> <原创 2020-09-24 10:57:30 · 1549 阅读 · 2 评论