Java操作Hadoop

配置ssh免登陆

生成ssh免登陆密钥

cd ~，进入到我的home目录

cd .ssh/

 

ssh-keygen -t rsa （四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免登陆的机器上

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat是查看

或

ssh-copy-id -i localhost

关闭所有

stop-all.sh

开启所有

start-all.shhadoop写java代码

 

1.创建一个工程

 

2.lib包放在工程目录下，并将lib包添加到库

 

3.写Java文件

 

复制代码

import java.io.FileInputStream;

import java.io.FileNotFoundException;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.InputStream;

import java.io.OutputStream;

import java.net.URI;

import java.net.URISyntaxException;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import