Hadoop实验:用java直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件




《Haoop权威指南》实验3.2


1.设置Hadoop的类目录,hadoop-env.sh

[hadoop@Master conf]$ cd /usr/hadoop/conf
[hadoop@Master conf]$ vim hadoop-env.sh

增加 export HADOOP_CLASSPATH=/usr/hadoop/myclass


2.设置搜索目录:使到运行javac,jps等程序时,省去打入一长串路径


[hadoop@Master hadoop]$ cd /home/hadoop/
[hadoop@Master ~]$ ls -a |grep .bash_profile
.bash_profile

[hadoop@Master ~]$ vim .bash_profile


3.编写java
[hadoop@Master ~]$ cd /usr/hadoop/myclass

[hadoop@Master myclass]$ vim FileSystemCat.java

import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class FileSystemCat {
        public static void main(String[] args) throws Exception {
                String uri = args[0];
                Configuration conf = new Configuration();
                FileSystem fs = FileSystem.get(URI.create(uri), conf);
                InputStream in = null;
                try {
                        in = fs.open(new Path(uri));
                        IOUtils.copyBytes(in, System.out,4096,false);
                } finally  {
                IOUtils.closeStream(in);
                }
        }
}


4.编译java

[hadoop@Master myclass]$ javac -classpath /usr/hadoop/hadoop-core-1.2.1.jar  FileSystemCat.java


5.用java把hdfs系统里的文件内容读取出来,显示到屏幕

[hadoop@Master myclass]$ hadoop FileSystemCat  hdfs://192.168.150.2:9000/user/hadoop/in/test1.txt

hello world







评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值