hadoop
文章平均质量分 92
Mayny
这个作者很懒,什么都没留下…
展开
-
Hadoop小结
Google大数据技术:MapReduce、BigTable、GFS Hadoop:一个模仿Google大数据技术的开源实现 HDFS的概念 数据块 磁盘中的关系: HDFS同样也有块(block)的概念,但是大很多,默认为128MB。与单一磁盘上的文件系统相似,HDFS上的文件也被划分为块大小的多个分块(chunk),作为独立的存储单元。但与其他文件系统不同的是,HD...原创 2018-08-08 20:02:00 · 779 阅读 · 0 评论 -
Hadoop—关于YARN
Apache YARN(Yet Another Resource Negotiator)是Hadoop的集群资源管理系统。YARN被引入Hadoop 2,最初是为了改善MapReduce的实现,但它具有足够的通用性,同样可以支持其他的分布式计算模式。 YARN提供请求和使用集群资源的API,但这些API很少直接用于用户代码。相反,用户代码中用的是分布式计算框架提供的更高层的API,这些A...原创 2018-09-27 20:46:35 · 1754 阅读 · 0 评论