客户端用java api 远程操作HDFS以及远程提交MR任务(源码和异常处理)

最新推荐文章于 2021-11-23 09:46:39 发布
最新推荐文章于 2021-11-23 09:46:39 发布
阅读量1.2k 收藏
点赞数
分类专栏： hadoop

两个类，一个HDFS文件操作类，一个是wordcount 词数统计类，都是从网上看来的。上代码：

[java]  view plain copy
  1. package mapreduce;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6. import org.apache.hadoop.conf.Configuration;  
  7. import org.apache.hadoop.fs.BlockLocation;  
  8. import org.apache.hadoop.fs.FSDataInputStream;  
  9. import org.apache.hadoop.fs.FSDataOutputStream;  
  10. import org.apache.hadoop.fs.FileStatus;  
  11. import org.apache.hadoop.fs.FileSystem;  
  12. import org.apache.hadoop.fs.Path;  
  13. import org.apache.hadoop.hdfs.DistributedFileSystem;  
  14. import org.apache.hadoop.hdfs.protocol.DatanodeInfo;  
  15. import org.apache.hadoop.io.IOUtils;  
  16. /** 
  17.  * file operation on HDFS 
  18.  * @author liuxingjiaofu 
  19.  * 
  20.  */  
  21. public class HDFS_File {  
  22.     //read the file from HDFS  
  23.     public void ReadFile(Configuration conf, String FileName){  
  24.       try{  
  25.             FileSystem hdfs = FileSystem.get(conf);  
  26.             FSDataInputStream dis = hdfs.open(new Path(FileName));  
  27.             IOUtils.copyBytes(dis, System.out, 4096, false);   
  28.              dis.close();  
  29.         }catch (IOException e) {  
  30.             // TODO Auto-generated catch block  
  31.             e.printStackTrace();  
  32.         }  
  33.     }  
  34.     //copy the file from HDFS to local  
  35.     public void GetFile(Configuration conf, String srcFile, String dstFile){  
  36.         try {  
  37.               FileSystem hdfs = FileSystem.get(conf);  
  38.               Path srcPath = new Path(srcFile);  
  39.               Path dstPath = new Path(dstFile);  
  40.               hdfs.copyToLocalFile(true,srcPath, dstPath);  
  41.         }catch (IOException e) {  
  42.             // TODO Auto-generated catch block  
  43.             e.printStackTrace();  
  44.         }  
  45.     }  
  46.     //copy the local file to HDFS  
  47.     public void PutFile(Configuration conf, String srcFile, String dstFile){  
  48.     try {  
  49.           FileSystem hdfs = FileSystem.get(conf);  
  50.           Path srcPath = new Path(srcFile);  
  51.           Path dstPath = new Path(dstFile);  
  52.           hdfs.copyFromLocalFile(srcPath, dstPath);  
  53.         } catch (IOException e) {  
  54.             // TODO Auto-generated catch block  
  55.             e.printStackTrace();  
  56.         }  
  57.     }  
  58.     //create the new file  
  59.     public FSDataOutputStream CreateFile(Configuration conf, String FileName){  
  60.     try {     
  61.           FileSystem hdfs = FileSystem.get(conf);  
  62.           Path path = new Path(FileName);  
  63.           FSDataOutputStream outputStream = hdfs.create(path);  
  64.           return outputStream;  
  65.         } catch (IOException e) {  
  66.         // TODO Auto-generated catch block  
  67.         e.printStackTrace();  
  68.         }  
  69.         return null;  
  70.     }  
  71.     //rename the file name  
  72.     public boolean ReNameFile(Configuration conf, String srcName, String dstName){  
  73.     try {  
  74.             Configuration config = new Configuration();  
  75.             FileSystem hdfs = FileSystem.get(config);  
  76.             Path fromPath = new Path(srcName);  
  77.             Path toPath = new Path(dstName);  
  78.             boolean isRenamed = hdfs.rename(fromPath, toPath);  
  79.             return isRenamed;  
  80.         }catch (IOException e) {  
  81.             // TODO Auto-generated catch block  
  82.             e.printStackTrace();  
  83.         }  
  84.         return false;  
  85.     }  
  86.     //delete the file  
  87.     // tyep = true, delete the directory  
  88.     // type = false, delete the file  
  89.     public boolean DelFile(Configuration conf, String FileName, boolean type){  
  90.         try {  
  91.               FileSystem hdfs = FileSystem.get(conf);  
  92.               Path path = new Path(FileName);  
  93.               boolean isDeleted = hdfs.delete(path, type);  
  94.               return isDeleted;  
  95.         }catch (IOException e) {  
  96.             // TODO Auto-generated catch block  
  97.             e.printStackTrace();  
  98.         }  
  99.         return false;  
  100.     }  
  101.     //Get HDFS file last modification time  
  102.     public long GetFileModTime(Configuration conf, String FileName){  
  103.     try{  
  104.               FileSystem hdfs = FileSystem.get(conf);  
  105.               Path path = new Path(FileName);  
  106.               FileStatus fileStatus = hdfs.getFileStatus(path);  
  107.               long modificationTime = fileStatus.getModificationTime();  
  108.               return modificationTime;  
  109.         }catch(IOException e){  
  110.             e.printStackTrace();  
  111.         }  
  112.         return 0;  
  113.     }  
  114.     //check if a file  exists in HDFS  
  115.     public boolean CheckFileExist(Configuration conf, String FileName){  
  116.     try{              
  117.               FileSystem hdfs = FileSystem.get(conf);  
  118.               Path path = new Path(FileName);  
  119.               boolean isExists = hdfs.exists(path);  
  120.               return isExists;  
  121.         }catch(IOException e){  
  122.             e.printStackTrace();  
  123.         }  
  124.         return false;  
  125.     }  
  126.     //Get the locations of a file in the HDFS cluster  
  127.     public List<String []> GetFileBolckHost(Configuration conf, String FileName){  
  128.         try{  
  129.               List<String []> list = new ArrayList<String []>();  
  130.               FileSystem hdfs = FileSystem.get(conf);  
  131.               Path path = new Path(FileName);  
  132.               FileStatus fileStatus = hdfs.getFileStatus(path);  
  133.       
  134.               BlockLocation[] blkLocations = hdfs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());  
  135.                 
  136.               int blkCount = blkLocations.length;  
  137.               for (int i=0; i < blkCount; i++) {  
  138.                 String[] hosts = blkLocations[i].getHosts();  
  139.                 list.add(hosts);  
  140.                }  
  141.               return list;  
  142.             }catch(IOException e){  
  143.                 e.printStackTrace();  
  144.             }  
  145.             return null;  
  146.     }  
  147.     //Get a list of all the nodes host names in the HDFS cluster  
  148.     // have no authorization to do this operation  
  149.     public String[] GetAllNodeName(Configuration conf){  
  150.         try{  
  151.               FileSystem fs = FileSystem.get(conf);  
  152.               DistributedFileSystem hdfs = (DistributedFileSystem) fs;  
  153.               DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();  
  154.               String[] names = new String[dataNodeStats.length];  
  155.               for (int i = 0; i < dataNodeStats.length; i++) {  
  156.                   names[i] = dataNodeStats[i].getHostName();  
  157.               }  
  158.               return names;  
  159.         }catch(IOException e){  
  160.             System.out.println("error!!!!");  
  161.             e.printStackTrace();  
  162.         }  
  163.         return null;  
  164.     }  
  165. }  

wordcount

[java]  view plain copy
  1. package mapreduce;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.StringTokenizer;  
  5.   
  6. import org.apache.hadoop.conf.Configuration;  
  7. import org.apache.hadoop.fs.Path;  
  8. import org.apache.hadoop.io.IntWritable;  
  9. import org.apache.hadoop.io.LongWritable;  
  10. import org.apache.hadoop.io.Text;  
  11.   
  12. import org.apache.hadoop.mapreduce.Job;  
  13. import org.apache.hadoop.mapreduce.Mapper;  
  14. import org.apache.hadoop.mapreduce.Reducer;  
  15. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  16. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  
  17. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  18.   
  19. public class mywordcount {  
  20.     public static  class wordcountMapper extends  
  21.         Mapper<LongWritable, Text, Text, IntWritable>{  
  22.         private final static IntWritable one = new IntWritable(1);  
  23.         private Text word = new Text();  
  24.         public void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException{  
  25.             String line = value.toString();  
  26.             StringTokenizer itr = new StringTokenizer(line);  
  27.             while(itr.hasMoreElements()){  
  28.                 word.set(itr.nextToken());  
  29.                 context.write(word, one);  
  30.             }  
  31.         }  
  32.     }  
  33.     public static  class wordcountReducer extends  
  34.         Reducer<Text, IntWritable, Text, IntWritable>{  
  35.         public void reduce(Text key, Iterable<IntWritable>values, Context context)throws IOException, InterruptedException{  
  36.             int sum = 0;  
  37.             for (IntWritable str : values){  
  38.                 sum += str.get();  
  39.             }  
  40.             context.write(key, new IntWritable(sum));  
  41.         }  
  42.     }  
  43.     /** 
  44.      * 2 args, the file you want to count words from and the directory you want to save the result 
  45.      * @param args /home/hadooper/testmp/testtext /home/hadooper/testmp/testresult 
  46.      * @throws Exception 
  47.      */  
  48.     public static  void main(String args[])throws Exception{  
  49.         //首先定义两个临时文件夹，这里可以使用随机函数+文件名，这样重名的几率就很小。  
  50.         String dstFile = "temp_src";  
  51.         String srcFile = "temp_dst";  
  52.         //这里生成文件操作对象。  
  53.         HDFS_File file = new HDFS_File();  
  54.           
  55.         Configuration conf = new Configuration();  
  56.         // must!!!  config the fs.default.name be the same to the value in core-site.xml  
  57.         conf.set("fs.default.name","hdfs://node1");  
[java]  view plain copy
  1.         conf.set("mapred.job.tracker","node1:54311");  
  2.   
  3.         //从本地上传文件到HDFS,可以是文件也可以是目录  
  4.         file.PutFile(conf, args[0], dstFile);  
  5.           
  6.         System.out.println("up ok");  
  7.         Job job = new Job(conf, "mywordcount");       
  8.         job.setJarByClass(mywordcount.class);  
  9.           
  10.         job.setInputFormatClass(TextInputFormat.class);  
  11.           
  12.         job.setOutputKeyClass(Text.class);  
  13.         job.setOutputValueClass(IntWritable.class);  
  14.           
  15.         job.setMapperClass(wordcountMapper.class);  
  16.         job.setReducerClass(wordcountReducer.class);  
  17.         job.setCombinerClass(wordcountReducer.class);  
  18.         //注意这里的输入输出都应该是在HDFS下的文件或目录       
  19.         FileInputFormat.setInputPaths(job, new Path(dstFile));  
  20.         FileOutputFormat.setOutputPath(job, new Path(srcFile));  
  21. //开始运行  
  22.         job.waitForCompletion(true);  
  23.         //从HDFS取回文件保存至本地  
  24.         file.GetFile(conf, srcFile, args[1]);  
  25.         System.out.println("down the result ok!");  
  26. //删除临时文件或目录  
  27.         file.DelFile(conf, dstFile, true);  
  28.         file.DelFile(conf, srcFile, true);  
  29.         System.out.println("delete file on hdfs ok!");  
  30.     }  
  31. }  


期间，遇到几个错误：

1.HDFS版本问题--Call to node1/172.*.*.*:8020 failed on local exception: java.io.EOFException

main() {…… 
  Configuration conf = new Configuration();
  conf.set("fs.default.name","hdfs://node1");//与conf/core-site里的值对应，必须
  HDFS_File file = new HDFS_File();
  //print all the node name
  String[] host_name = file.GetAllNodeName(conf); 
……}
public String[] GetAllNodeName(Configuration conf){
  try{
    // Configuration config = new Configuration();
     FileSystem fs = FileSystem.get(conf);
     DistributedFileSystem hdfs = (DistributedFileSystem) fs;
     DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();
     String[] names = new String[dataNodeStats.length];
     for (int i = 0; i < dataNodeStats.length; i++) {
         names[i] = dataNodeStats[i].getHostName();
     }
     return names;
  }catch(IOException e){
   System.out.println("eeeeeeeeeeeeeeeeeeeerror!!!!");
   e.printStackTrace();
  }
  return null;
 }
异常：
eeeeeeeeeeeeeeeeeeeerror!!!!
java.io.IOException: Call to node1/172.10.39.250:8020 failed on local exception: java.io.EOFException
 at org.apache.hadoop.ipc.Client.wrapException(Client.java:775)
 at org.apache.hadoop.ipc.Client.call(Client.java:743)
 at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
 at $Proxy0.getProtocolVersion(Unknown Source)
 at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
 at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:112)
 at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:213)
 at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:176)
 at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
 at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
 at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
 at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
 at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
 at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
 at mapreduce.HDFS_File.GetAllNodeName(HDFS_File.java:151)
 at mapreduce.File_Operation.main(File_Operation.java:15)
Caused by: java.io.EOFException
 at java.io.DataInputStream.readInt(DataInputStream.java:392)
 at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501)
 at org.apache.hadoop.ipc.Client$Connection.run(Client.java:446)
Exception in thread "main" java.lang.NullPointerException
 at mapreduce.File_Operation.main(File_Operation.java:16)
原因：版本问题，确保java中的jar包跟hadoop集群的jar包是相同版本的
2.HDFS权限问题

 

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=hadooper, access=WRITE, inode="/user":root:supergroup:drwxr-xr-x

解决方案之
（1 added this entry to conf/hdfs-site.xml
<property>
<name>dfs.permissions</name>
<value>false</value>
</property> 
（2.放开 要写入目录 hadoop 目录的权限 ， 命令如下 ：$ hadoop fs -chmod 777 /user/
我用的是第2种方案

3.HDFS 2011-12-20 17:00:32 org.apache.hadoop.util.NativeCodeLoader <clinit>
警告: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在Hadoop的配置文件core-site.xml中可以设置是否使用本地库： 
<property>
  <name>hadoop.native.lib</name>
  <value>true</value>
  <description>Should native hadoop libraries, if present, be used.</description>
</property>

Hadoop默认的配置为启用本地库。 
另外，可以在环境变量中设置使用本地库的位置：
export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs
有的时候也会发现Hadoop自带的本地库无法使用，这种情况下就需要自己去编译本地库了。在$HADOOP_HOME目录下，使用如下命令即可：
ant compile-native
编译完成后，可以在$HADOOP_HOME/build/native目录下找到相应的文件，然后指定文件的路径或者移动编译好的文件到默认目录下即可
我试了下，那个是64位的，我电脑是32位的，没有源代码，编译不了，那只好一段段程序的试，找出哪段代码出了这个警告，我的是
  try {
     FileSystem hdfs = FileSystem.get(conf);
     Path srcPath = new Path(srcFile);
     Path dstPath = new Path(dstFile);
     hdfs.copyToLocalFile(true,srcPath, dstPath);//定位到此句
  }catch (IOException e) {
 到了此步，便只能如此了，为什么呢，java不是跨平台的吗

4.MR-jar包缺失

ClassNotFoundException: org.codehaus.jackson.map.JsonMappingException
NoClassDefFoundError: org/apache/commons/httpclient/HttpMethod

添加jar包到java工程中

jackson-core-asl-1.5.2.jar
jackson-mapper-asl-1.5.2.jar

commons-httpclient-3.0.1.jar

我是不习惯将所有Jar包都加到工程里，觉得这样很容易便加多了，浪费时空。
完成第一次mapreduce，不错！

5.远程的JOB挂掉了，居然还能运行成功，发现是mapred.job.tracker属性没设，默认在local下运行，其值在namenode的mapred-site.xml中看

 conf.set("mapred.job.tracker","node1:54311");

配置完了，运行可以初始化，但是找不到mapper类：

信息: Task Id : attempt_201112221123_0010_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: mapreduce.mywordcount$wordcountMapper
 at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:996)
 at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:212)
 at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:611)
 at org.apache.hadoop.mapred.MapTask.run(MapTask.java:325)
 at org.apache.hadoop.mapred.Child$4.run(Child.java:270)
 at java.security.AccessController.doPrivileged(Native Method)
 at javax.security.auth.Subject.doAs(Subject.java:396)
 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127)
 at org.apache.hadoop.mapred.Child.main(Child.java:264)

将程序打成jar包放到hadoop集群的jobtracker上可用，正常，结果也正确，但是在客户端运行却报上述错误，暂时还没解决。

总结

1.远程操作HDFS文件以及远程提交MR任务，必须配置的两项（其他暂时还没发现）：

conf.set("fs.default.name","hdfs://node1");//与conf/core-site.xml里的值对应，必须 
conf.set("mapred.job.tracker","node1:54311");//mapred-site.xml

2.耐心分析问题，解决问题
guanhuai123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java远程提交yarn到集群_Eclipse远程提交hadoop集群任务
weixin_32616935的博客
02-17 318
文章概览：1、前言2、Eclipse查看远程hadoop集群文件3、Eclipse提交远程hadoop集群任务4、小结1 前言Hadoop高可用品台搭建完备后，参见《Hadoop高可用平台搭建》，下一步是在集群上跑任务，本文主要讲述Eclipse远程提交hadoop集群任务。2Eclipse查看远程hadoop集群文件2.1 编译hadoop eclipse 插件Hadoop集群文件查看可以通过...
hdfs 文件提交与mr作业提交流程分析
tyut小郑
08-21 1625
看了不少东西，想把他们总结出来，若有错误还望不吝赐教 在hdfs架构中可以吧Client认为是送货人，nn是仓库管理员，dn是一个个仓库。当客户端要送货（文件）的时候，进行如下步骤 1.送货员通过rpc通信告知仓库管理员（nn）说我这里有货物，请告诉我放在哪里啊 2.仓库管理员通过查询所维护的仓库信息查出哪个仓库有空余空间，将查询结构反馈给送货员 3.送货员将货物放入管理员所说的仓库即可
设置Hadoop的执行用户
liuwei0376的专栏
01-06 6880
一. 背景 在Hadoop集群中执行一些程序( 如Hive / MapReduce / Oozie )时, 如果没有根据集群hdfs的所属用户及用户组, 做合理的设置的话, 则在读取或向HDFS写入数据的时候会报一些莫名其妙的权限错误. 二. 典型案例 向HDFS写xls数据文件,因权限问题报错 三. 问题根源 应用程序会尝试获取 ${HADOOP_USER_NAME}环境变量, 并将其作为Hadoop的默认执行用户; 而如果未获取到该变量, 则程序会调用系统的 whoami 命令来获取当前用户是
hdfs+mr
dbr37766的博客
09-07 242
HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。 HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修...
使用Java Api操作HDFS过程详解
08-25
本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例代码，展示如何使用 Java API 读取和写入 HDFS。 一、配置 Maven 环境 在使用 Java API 操作 HDFS 之前，需要配置好 Maven 环境。Maven 是一个...
使用Java API操作HDFS分布式文件系统
最新发布
04-11
通过上述Java API，开发者可以构建出复杂的HDFS操作逻辑，实现数据的高效读写、管理和处理。在实际应用中，还需要考虑性能优化、容错机制以及与其他Hadoop生态组件的集成。例如，结合MapReduce进行大规模数据处理，...
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、...
ecplise远程连接hadoop--hdfs java api操作文件.pdf
04-19
ecplise远程连接hadoop--hdfs java api操作文件.pdf
HDFS的java客户端操作
01-20
在Hadoop分布式文件系统（HDFS）中，Java客户端是开发者进行数据操作的主要接口，它提供了丰富的API供程序与HDFS交互。以下是对HDFS Java客户端操作的详细讲解： 首先，要进行HDFS的Java客户端操作，需要设置好开发...
MR作业的提交监控、输入输出控制及特性使用
xiaomin1991222的专栏
09-14 302
提交作业并监控 JobClient是用户作业与JobTracker交互的主要接口，它提供了提交作业，跟踪作业进度、访问任务报告及logs、以及获取MR集群状态信息等方法。 提交作业流程包括： 检查作业的输入输出 计算作业的输入分片(InputSplit) 如果需要，为DistributedCache设置必须的账户信息 将作业用到的jar包文件和配置信息拷贝至文件系统（一般为HDF...
Hadoop简介（HDFS、MR、HDFS读写文件详解）
Allenzyg的博客
05-20 1959
Hadoop 2.x由HDFS、MapReduce和YARN三个分支构成； HDFS：NN Federation、HA MapReduce：运行在YARN上的MR YARN：资源管理系统 Hadoop核心 Hadoop的核心就是HDFS(Hadoop Distributed File System，Hadoop分布式文件系统 )和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapRedu.
jar包在Hadoop集群上测试(MapReduce)
栗筝i的博客
07-20 2601
本片使用MapReduce——统计输出给定的文本文档每一个单词出现的总次数的案例进行，jar包在集群上测试 1、添加打包插件依赖 <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.2</vers.
windows通过eclipse远程提交代码到完全分布式Hadoop集群
独醉的博客
05-15 399
windows通过eclipse远程提交代码到完全分布式hadoop集群windows下安装hadoop环境配置环境变量windows中通过eclipse连接linux上的Hadoop集群实现代码的自动提交（在集群的主节点上提交）实现代码的自动提交（在Windows上提交） windows下安装hadoop环境 想要将Hadoop代码提交到linux集群上windows也需要配置Hadoop环境 这是我已经把坑都填好的hadoop包，直接解压就可用（bin目录下需要添加的工具我都添加好了，用就完事了） 链接
使用IDE自己编译、发布及测试MR（MaxCompute）
Allenzyg的博客
12-02 733
1.下载maxcompute插件 2.配置MaxCompute Console(odpscmd)程序路径 3.配置连接的maxcompute项目的AK信息 4.新建项目 选择MaxCompute JAVA项目，并选择JDK(1.8,如没有需要安装) 命名项目名称 5.创建JAVA代码 展开项目，在src->main->java处 右键单击，新建JAVA CLASS 命名为mywordcount 6.录入MR代码 packa.
HDFS和MR的配置和使用
Sun's Blog
07-05 352
一、分布式HDFS的安装和启动 ①在$HADOOP_HOME/etc/hadoop/core-site.xml文件 <configuration> <property> <name>fs.defaultFS</name> <!-- 告知NN在哪个机器，NN使用哪个端口号接收客户端和DN的RPC请求. --> <value>hdfs://主机名:9000</value> </property> <
mapreduce系列（3）----在window端远程提交mr程序运行
tianjun2012的专栏
03-17 1642
之前讲到windows上跑本地版的mapreduce程序，毫无问题， 但是更进一步，我现在想直接把我的idea上的程序运行在linunx集群上，这样，我的本地就相当于是mapreduce的一个客户端了。 沿着这个思路，我们直接把conf配置如下设置：conf.set("mapreduce.framework.name","yarn"); conf.set("yarn.resourcemanage
hadoop---MR(mapreduce)--内存设置
11-23 1718
非java程序(c++、shell程序)在MR内存设置上，和java程序有很大差异，如果按照java程序的方式设置，很容易采坑，具体如下： MR中各个内存情况 因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。mapreduce.{map|reduce}.java.opts能够通过Xm
【Yarn】工作机制及任务提交流程
Just Do IT
02-08 1505
本文以mr程序为例，解释yarn的工作机制及任务提交流程： 0. mr程序提交任务到客户端所在节点； 1.节点上的YarnRunner向ResourceManager申请一个Application； 2. ResourceManager会把Application资源路径及application_id返回YarnRunner； 3. 该程序将job运行所需资源提交到HDFS； 4. 资源提交完毕后，...
hadoop使用java api操作hdfs
03-27
Hadoop是一个分布式计算框架，它的核心组件包括HDFS（Hadoop分布式文件系统）和MapReduce。在Hadoop中，Java API是操作HDFS的主要方式之一...以上是使用Java API操作HDFS的基本步骤，可以根据实际需求进行修改和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值