hadoop
文章平均质量分 75
明月不归尘
这个作者很懒,什么都没留下…
展开
-
Hadoop Yarn 的三种资源调度器详解
理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。 一、调度器的选择 在Yarn中有三种调...转载 2018-08-08 16:19:23 · 8366 阅读 · 0 评论 -
hdfs常用命令:一
文件操作 (1) 列出HDFS下的文件 hdfs dfs -ls / (2) 列出HDFS文件下名为users的文档中的文件 hdfs dfs -ls /users (3) 上传文件 将hadoop目录下的test01文件上传到HDFS上并重命名为test02: hdfs dfs -put test01 /test02 (4) 文件被复制到本地系统中 将HDFS中的tes...原创 2018-08-21 16:11:25 · 437 阅读 · 0 评论