hadoop
Saiheihua
这个作者很懒,什么都没留下…
展开
-
hadoop inputformat
MapReduce过程Mapper的输出参数和Reducer的输入参数是一样的,都是中间需要处理的结果,而Reducer的输出结果便是我们想要的输出结果。所以根据需要对InputFormat进行较合理的设置,Job才能正常运行。Job过程中间的Key和Value的对应关系可以简单阐述如下:map: <k1,v1> -> list(k2,v2)combile: <k2,list(v2)> ->原创 2020-09-22 22:47:15 · 487 阅读 · 1 评论 -
java hdfs中在一个方法中调用另一个方法
public void listdict(String para) throws Exception { FileSystem fileSystem = getFileSystem(); FileStatus[] fileStatuses = fileSystem.listStatus(new Path(para)); /* if(fileStatuses.length!=0){ }else{ }*/ for (F.原创 2020-07-18 16:02:26 · 83 阅读 · 0 评论 -
本地上传到hdfs文件乱码问题
@Test public void uploadFile() throws Exception { FileSystem fileSystem = getFileSystem(); fileSystem.copyFromLocalFile(false,true,new Path("D:\\桌面资料\\新建文件夹\\外汇九段.txt"),new Path("/test.txt")); }使用notepad++更改文本文件的编码格式...原创 2020-07-18 14:51:59 · 556 阅读 · 0 评论