hadoop 用命令行编译URLCat

import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;


public class URLCat {
	static{
		URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
	}
	public static void main(String args[]) throws Exception{
		InputStream in = null;
		try{
		in = new URL(args[0]).openStream();
		IOUtils.copyBytes(in, System.out, 4096, false);
		}finally{
			IOUtils.closeStream(in);
		}
	}
}

读取文件的内容,并显示出来。
编译

javac -classpath hadoop-core-1.1.2.jar -d secondProject secondProject/URLCat.java


生成JAR

jar -cvf URLCat.jar -C secondProject/ .  
hadoop jar URLCat.jar URLCat hdfs://localhost:49000/user/hadoop/input/file01


路径根据

	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:49000</value>
	</property>


调整。。

每次重新启动hadoop时,需用ROOT去删除一些文件,才能成功格式化

rm -rf /home/hadoop/*



 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值