本人实验过,代码跑通才来分享的,欢迎大佬们指导,能做一些代码优化。
本人实验过,代码跑通才来分享的,欢迎大佬们指导,能做一些代码优化。
本人实验过,代码跑通才来分享的,欢迎大佬们指导,能做一些代码优化。
本地文件---->HDFS
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
public class Input_Hdfs {
static Configuration conf=new Configuration();
public static void main(String[] args) throws IOException {
System.out.println("linux");
FileSystem fs=FileSystem.get(conf);
//本地文件
Path src =new Path("D:\\test01");
//HDFS为止
Path dst =new Path("hdfs://node01:8020/root/");
try {
fs.copyFromLocalFile(src, dst);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace(); }
System.out.println("上传成功........");
fs.close();//释放资源
}}
本地数据---->HDFS
package HDFS_Test;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Input_Data_HDFS {
public static void main(String[] args) {
System.out.println("linux");
try{
//加载配置项
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://node01:8020"); conf.set("fe.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
//创建文件系统实例
FileSystem fs = FileSystem.get(conf);
//创建文件实例
String filename = "/root/test01/test001";
Path file = new Path(filename);
//创建输出流对象
FSDataOutputStream os = fs.create(file);
//写入数据
byte[] buff = "hello worid".getBytes();
os.write(buff,0,buff.length);
System.out.println("Create"+filename);
os.close();
fs.close();
}catch (Exception e){
e.printStackTrace