![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
Chihk-Anchor
这个作者很懒,什么都没留下…
展开
-
hadoop完全分布式集群搭建
hdfs命令 hdfs namenode -format 启动前先格式化文件系统 hadoop-daemon.sh start namenode|datanode 计算机原创 2019-08-06 16:01:52 · 291 阅读 · 0 评论 -
Hadoop之MapReduce
MapReduce优缺点 优点 1.MapReduce易于编程它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。 2.良好的扩展性当你的计算资源不能得到满足的时候,你可以通过简单的增加机器来扩展它的计算能力。 3.高容错性MapRe...翻译 2019-08-06 16:05:00 · 337 阅读 · 0 评论 -
Hadoop之HDFS
hdfs命令 hdfs namenode -format 启动前先格式化文件系统 hadoop-daemon.sh start namenode|datanode 启动namenode和datanode hdfs dfs -rm -r /user/it/output 删除文件系统的文件 hdfs dfs -mkdir -p /usr/atguigu/input 在hdfs上创建文件夹 ...原创 2019-08-06 16:06:00 · 552 阅读 · 0 评论 -
Hadoop之Yarn
Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成 Yarn工作机制 MRAppMaster是MapReduce的Applicat...翻译 2019-08-06 16:09:32 · 389 阅读 · 1 评论