hadoop
麦迪康
小白程序员
展开
-
手动开启/关闭HDFS的safemode(安全模式)
在hadoop启动namenode的时候,会启动安全模式(safemode),在该模式下,namenode会等待datanode向它发送块报告(block report),只有接收到的datanode上的块数量(datanodes blocks)和实际的数量(total blocks)接近一致, 超过 datanodes blocks / total blocks >= 99.9% 这个阀值,就表示 块数量一致,就会推出安全模式。达到99.9%的阀值之后,文件系统不会立即推出安全模式,而是会等原创 2021-08-06 11:29:14 · 5824 阅读 · 1 评论 -
hdfs的基本命令
对hdfs操作的命令格式:1.hadoop fs -ls 对下一级目录的查看2.hadoop fs -lsr 对目录的递归查看3.hadoop fs -mkdir 创建目录4.hadoop fs -get 从hdfs下载文件到linux5.hadoop fs -put 从linux上传文件到hdfs6.hadoop fs -text 查看文件内容7.hadoop fs -rm 表示删除文件8.hadoop fs -rmr 表示递归删除文件9.hadoop dis原创 2021-01-13 14:55:42 · 120 阅读 · 0 评论 -
Apache Hadoop YARN
**YARN是做什么的YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。如何管理资源YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行ResourceManager进程作为master,其余每个节点上都运行一个NodeManager进程作为slave。Re原创 2020-07-21 14:52:05 · 634 阅读 · 0 评论