fengjinghong的博客

该错误需要配置log4j才可以看到 log4j配置： log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.

HDFS之：小 文件归档 注意：需要YARN进程 start-yarn.sh 介绍： 小文件太多，会导致内存中存储大量的元数据信息，从而消耗大量的内存，这时候就需要用办法解决存储小文件，HAR：是一个更高效的存档工具，它将文件存入HDFS块，在减少NameNode 内存使用的同时，允许对文件进行透明访问（HDFS存档文件对内还是一个一个的独立文件，对NameNode而言却是一个整体，减少了NameNode的内存）。 1、归档文件 将 /AzF/input/ 下的所有文件归档为一个叫 input.h

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.File.

package com.fjh.hadoop; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; import or