Hadoop
Hadoop有关内容
reniviD
0 error(s),0 warning(s)
展开
-
Hadoop-HDFS的Secondary NameNode作用详解
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件(edits)。当一个NameNode启动时,它首先从一个映像文件(fsimage)中读取HDFS的状态,接着应用日志文件中的edits操作。然后它将新的HDFS状态写入(fsimage)中,并使用一个空的edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits,所以久而久之日志文件可能会变得非常庞大,特别是对大型的集群。日志文件太大的另一个副作用是下一次NameNode启动会花很长时间。Seco原创 2020-07-14 10:48:33 · 2267 阅读 · 0 评论 -
HDFS 常用shell命令大全
cat命令// 查看文件所有行的数据hadoop fs -cat filename// 查看总行数hadoop fs -cat filename | wc -l// 查看.gz文件hadoop fs -cat filename | zcat// (按空格)翻页查看hadoop fs -cat filename | more// 查看从第s行开始的k行数据hadoop fs -cat filename | tail -n +s | head -n k// 将多个不同位置的文件合原创 2020-06-05 17:35:38 · 552 阅读 · 0 评论