Hadoop
文章平均质量分 79
MilkyTea'Ou
这个作者很懒,什么都没留下…
展开
-
Yarn FairShare Scheduler
Yarn FairShare SchedulerFairShare SchedulerSteady Fair share vs Instaneous Fair Share参考FairShare Schedulerfair share scheduler集群资源调度的方式:1、目的是所有应用程序随着时间的推移获得相等的资源份额;2、可以让短应用程序在合理的时间内完成,而不会饿死长期应用程序;3、支持队列优先级,根据优先级高低,分配给任务的资源不同;下图为hadoop yarn web ui上的显示原创 2022-03-27 18:12:41 · 2435 阅读 · 0 评论 -
hadoop(一) 常用shell命令总结
hadoop fs -count -q 目录 // 查看目录下总的大小2 1 none inf 1 0 0 /data/test_quota1 注:这里对上面的返回结果进行解释: 第1个值表示文件数限额 第2个值表示可原创 2018-02-01 10:44:30 · 1288 阅读 · 0 评论 -
hive sq操作
查看hive版本号:hive> set hive.hwi.war.file创建外表:hive> create external table table_name ( > name string, > type string, > comment string > ) > partitioned by (dt string) >原创 2018-01-31 18:49:56 · 545 阅读 · 0 评论