Linux__hadoop免密登录&JavaToJDFS

配置ssh免登陆
生成ssh免登陆密钥
cd ~，进入到我的home目录
cd .ssh/

ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat是查看
或
ssh-copy-id -i localhost
关闭所有
stop-all.sh
开启所有
start-all.shhadoop写java代码

1.创建一个工程

2.lib包放在工程目录下，并将lib包添加到库

3.写Java文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.junit.Before;
import org.junit.Test;
import java.net.URI;

windows系统的hadoop可以不配置系统变量,直接配置Path

public class JavaToHDFS{ //定义类变量：文件系统，用来连接hdfs FileSystem fs=null; //预处理  @Before public void init() throws Exception{ fs=FileSystem.get(new URI("hdfs://192.168.153.129:9000"),new Configuration(),"root"); }
　　 @Test
　　 public void mkdir(){
　　 　　System.out.println(fs)
　　 }

}

 

4.在windows系统安装带有winutils.exe的hadoop，并配置环境变量

可以不配置系统变量,直接配置Path