java hdfs 查询分页_hadoop java操作hdfs

0 前言 搞了大约2天时间终于把Linux下面Java API的使用给弄清楚了。做个笔记方便以后参考。环境如下所示 Hadoop：2.5.1 Linux：Ubuntu kylin eclipse：luna 1 步骤 首先是要去下载一个eclipse，这里使用的是Luna。名字比较好听，代表月亮消灭你们... 然后发现

hfds 是一种文件系统，用于存储hadoop将要处理的数据。适用于大规模分布式数据处理，是一个可扩展行的文件分布式系统；

优点

1、如果出现节点宕机，hdfs,可以持续监视，错误检查，容错处理，文档恢复

2、存储文件巨大，hdfs把文件按块处理，规定每块的大小(默认64M)

hdfs常用 命令

命令格式为： hadoop fs -cmd

1、添加目录

hadoop fs -mkdir args

2、添加文件

hadoop fs -put localfile hdfsfileurl

备注：put命令，在hdfs文件系统中放入文件，本地文件消失

3、取出文件

hadoop fs -get locaUrl hdfsurl

备注：get,把hdfs中的文件取回本地。但是hdfs中的文件还存在，相当于copyHadoop学习8：hdfs文件操作 标签(空格分隔)： hadoop Hadoop学习8hdfs文件操作 一hdfs文件流读操作 三合并文件上传到 一，hdfs文件流读操作 读文件流程 (1)打开分布式文件 调用 分布式文件 DistributedFileSystem.open()方法(2)从 NameNode 获得 D

4、查看文件

hadoop fs -cat url

备注：  hadoop fs -cat url|more可以分页查看

5、删除文件

hadoop fs -rm url

6、日志方式查看

hadoop fs -tail url

java 程序控制hdfs

在Hadoop中用作文件操作的主类位于org.apache.hadoop.fs软件包中。包括常见的open、read、write、close。Hadoop文件的API起点是FileSystem类，这是一个与文件系统交互的抽象类，我们通过调用factory的方法FileSystem.get(Configuration conf)来取得所需的FileSystem实例，如下我们可以获得与HDFS接口的FileSystem对象：

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);//获得HDFS的FileSystem对象

如果我们要实现HDFS与本地文件系统的交互，我们还需要获取本地文件系统的FileSystem对象

FileSystem local = FileSystem.getLocal(conf);//获得本地文件系统的FileSystem对象

? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57

/**

*

*/

package

org.jrs.wlh;

import

java.io.IOException;

import

org.apache.hadoop.conf.Configuration;

import

org.apache.hadoop.fs.FSDataInputStream;

import

org.apache.hadoop.fs.FSDataOutputStream;

import

org.apache.hadoop.fs.FileStatus;

import

org.apache.hadoop.fs.FileSystem;

import

org.apache.hadoop.fs.Path;

/**

* @PutMeger.java

* created at 2013-8-7 上午12:04:08 by jrs521wlh

* java操作hdfs 往 hdfs中上传数据

* @author jrs521wlh jiangrushe2010@126.com

* @version $Revision$

* update: $Date$

*/

public

class

PutMeger {

public

static

void

main(String[] args)

throws

IOException {

String[] str =

new

String[]{

"E:\\hadoop\\UploadFileClient.java"

,

"hdfs://master:9000/user/hadoop/inccnt.java"

};

Configuration conf =

new

Configuration();

FileSystem fileS= FileSystem.get(conf);

FileSystem localFile = FileSystem.getLocal(conf);

//得到一个本地的FileSystem对象

Path input =

new

Path(str[

0

]);

//设定文件输入保存路径

Path out =

new

Path(str[

1

]);

//文件到hdfs输出路径

try

{

FileStatus[] inputFile = localFile.listStatus(input);

//listStatus得到输入文件路径的文件列表

FSDataOutputStream outStream = fileS.create(out);

//创建输出流

for

(

int

i =

0

; i < inputFile.length; i++) {

System.out.println(inputFile[i].getPath().getName());

FSDataInputStream in = localFile.open(inputFile[i].getPath());

byte

buffer[] =

new

byte

[

1024

];

int

bytesRead =

0

;

while

((bytesRead = in.read(buffer))>

0

){

//按照字节读取数据

System.out.println(buffer);

outStream.write(buffer,

0

,bytesRead);

}

in.close();

}

}

catch

(Exception e){

e.printStackTrace();

}

}

}