hdfs
文章平均质量分 70
L13763338360
这个作者很懒,什么都没留下…
展开
-
查看hive表对应的hdfs文件路径
1. 一般情形 一般情形,spark-sql执行show create table xxx.xxx命令,就可以看到hdfs路径:LOCATIONshow create table xxx.xxx;2. 特殊情形有些情况,比如spark用saveAsTable方法创建的表,一般情形不适合,查不到hive表对应的hdfs路径。spark-sql> show create table default.leon_hive_table;CREATE TA...原创 2021-10-21 15:46:25 · 12089 阅读 · 0 评论 -
yarn相关常见知识点
1. YARN架构1.1 ResourceManager整个集群资源的主要协调者和管理者,负责给用户提交的所有应用程序分配资源。1.2 NodeManager每个节点的管理者,主要负责该节点内所有容器的生命周期管理,监视资源和跟踪节点健康。1.3 ApplicationMaster在用户提交一个应用程序时,yarn会启动一个轻量级的进程ApplicationMaster负责协调来自RM的资源,通过NM监视容器内资源的使用情况。...原创 2021-09-15 20:29:36 · 836 阅读 · 0 评论