Hadoop--HDFS

1.启动HDFS

2.Shell命令

包括

hadoop fs
hadoop dfs
hdfs dfs

查看fs支持的命令

3.目录操作

创建用户目录

./bin/hdfs dfs –mkdir –p /user/hadoop

列出当前目录所有内容

 ./bin/hdfs dfs –ls .

4.文件操作

使用如下命令

./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt  input

将本地文件系统的“/home/hadoop/myLocalFile.txt”上传到HDFS中的当前用户目录的input目录下

将HDFS中的myLocalFile.txt文件下载到本地文件系统中，并查看

5.在Eclipse中利用Java API与HDFS进行交互

为项目添加需要用到的JAR包

编写Java应用程序代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class FileIfExist {
	public static void main(String[] args)
	{
		try{
			String filename = "myLocalFile.txt";
			Configuration conf = new Configuration();
			conf.set("fs.defaultFS", "hdfs://localhost:9000");
			conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
			FileSystem fs = FileSystem.get(conf);
			if(fs.exists(new Path(filename)))
			{
				System.out.println("Exist!");
			}
			else
			{
				System.out.println("Not exist!");
			}			
		}catch (Exception e)
		{
			e.printStackTrace();
		}
	}

}

编译运行程序

应用程序的部署

将HDFSExample工程打包生成HDFSExample.jar

在Linux系统中，使用hadoop jar命令运行程序