疑惑:
Configuration conf=new Configuration();
FileSystem fs=FileSystem.get(URI.create("/user/algo/wy/tmp"),conf);这是打开hdfs系统上的文件的常用写法。但是我不明白:
conf感觉就是一个空的配置文件,一个空的配置文件相当于里面没有携带任何有用的信息,为什么FileSystem的get函数还一定要加入conf参数呢,保留这个conf参数的作用是什么?
回答:
Configuration conf=new Configuration();
创建一个Configuration对象时,其构造方法会默认加载hadoop中的两个配置文件,分别是hdfs-site.xml以及core-site.xml,这两个文件中会有访问hdfs所需的参数值,主要是fs.default.name,指定了hdfs的地址,有了这个地址客户端就可以通过这个地址访问hdfs了。即可理解为configuration就是hadoop中的配置信息。
创建一个Configuration对象时,其构造方法会默认加载hadoop中的两个配置文件,分别是hdfs-site.xml以及core-site.xml,这两个文件中会有访问hdfs所需的参数值,主要是fs.default.name,指定了hdfs的地址,有了这个地址客户端就可以通过这个地址访问hdfs了。即可理解为configuration就是hadoop中的配置信息。