windows本地开发MapReduce提交到集群

最新推荐文章于 2021-05-30 21:45:14 发布
最新推荐文章于 2021-05-30 21:45:14 发布
阅读量570 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/albg_boy/article/details/86528745
版权
  1. 概述
  2. 准备
    1. JDK安装及环境变量

参考：https://jingyan.baidu.com/article/f96699bb163475894e3c1be4.html

    1. 下载hadoop安装包

链接：https://archive.apache.org/dist/hadoop/common/

备注：我选用的是hadoop-2.6.5.tar.gz

    1. Hadoop环境变量

HADOOP_HOME

D:\soft\developsoft\Hadoop\hadoop-2.6.5

 

Path后面追加 %HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

    1. 修改配置文件
  2. 进入目录D:\HadoopCilent\hadoop-2.6.5\etc\hadoop
  3. 修改core-site.xml，找一个节点就好

<configuration>

         <property>

                   <name>fs.defaultFS</name>

                   <value>hdfs://10.111.32.165:8020</value>

         </property>

</configuration>

 

  1. 修改hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

 

  1. 修改mapred-site.xml

<property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

</property>

 

  1. 修改yarn-site.xml，找一下测试集群的resourcemanager的IP

<property>

 <name>yarn.resourcemanager.hostname</name>

 <value>10.111.32.166</value>

</property>

 

    1. winutils安装
  2. 按照如上操作出现如下报错

ava.io.IOException: Could not locate executable D:\HadoopCilent\hadoop-2.6.5\bin\winutils.exe in the Hadoop binaries.

        at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:378)

        at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:393)

        at org.apache.hadoop.util.Shell.<clinit>(Shell.java:386)

        at org.apache.hadoop.util.GenericOptionsParser.preProcessForWindows(GenericOptionsParser.java:438)

        at org.apache.hadoop.util.GenericOptionsParser.parseGeneralOptions(GenericOptionsParser.java:484)

        at org.apache.hadoop.util.GenericOptionsParser.<init>(GenericOptionsParser.java:170)

        at org.apache.hadoop.util.GenericOptionsParser.<init>(GenericOptionsParser.java:153)

        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:64)

        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)

        at org.apache.hadoop.fs.FsShell.main(FsShell.java:340)

19/01/17 17:07:18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

 

  1. winutils下载 https://github.com/steveloughran/winutils。下载响应winutils.exe放在D:\HadoopCilent\hadoop-6.5\bin下，再执行如下命令看成功了：

 

>hadoop fs -ls /

19/01/17 17:10:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Found 12 items

drwxrwxrwx   - yarn   hadoop          0 2018-05-16 11:56 /app-logs

drwxr-xr-x   - hdfs   hdfs            0 2017-11-22 02:33 /apps

drwxr-xr-x   - yarn   hadoop          0 2017-11-22 02:30 /ats

drwxrwxrwx   - hdfs   hdfs            0 2018-01-03 21:42 /flume

drwxr-xr-x   - hdfs   hdfs            0 2017-11-22 02:30 /hdp

drwx------   - livy   hdfs            0 2018-03-23 11:36 /livy2-recovery

drwxr-xr-x   - hdfs   hdfs            0 2018-04-27 12:25 /log

drwxr-xr-x   - mapred hdfs            0 2017-11-22 02:30 /mapred

drwxrwxrwx   - mapred hadoop          0 2017-11-22 02:30 /mr-history

drwxrwxrwx   - spark  hadoop          0 2019-01-17 17:10 /spark2-history

drwxrwxrwx   - hdfs   hdfs            0 2019-01-17 14:45 /tmp

drwxr-xr-x   - hdfs   hdfs            0 2018-05-16 11:55 /user

 

    1. 跑一个wordcount
  2. 先做一下IP映射，打开C:\Windows\System32\drivers\etc\ hosts:

10.111.32.165 hdp165.tmtgeo.com

10.111.32.166 hdp166.tmtgeo.com

10.111.32.168 hdp168.tmtgeo.com

 

  1. 从这里考一个demo：https://hadoop.apache.org/docs/r7.7/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
  2. Pom文件：

 

<dependencies>
        <!--<dependency>-->
        <!--<groupId>org.apache.hadoop</groupId>-->
        <!--<artifactId>hadoop-hdfs</artifactId>-->
        <!--<version>2.6.5</version>-->
        <!--</dependency>-->
        <!--<dependency>-->
        <!--<groupId>org.apache.hadoop</groupId>-->
        <!--<artifactId>hadoop-common</artifactId>-->
        <!--<version>2.6.5</version>-->
        <!--</dependency>-->
        <!--&lt;!&ndash;<dependency>&ndash;&gt;-->
        <!--&lt;!&ndash;<groupId>org.apache.hadoop</groupId>&ndash;&gt;-->
        <!--&lt;!&ndash;<artifactId>hadoop-mapreduce-client-core</artifactId>&ndash;&gt;-->
        <!--&lt;!&ndash;<version>2.6.5</version>&ndash;&gt;-->
        <!--&lt;!&ndash;</dependency>&ndash;&gt;-->
        <!--<dependency>-->
        <!--<groupId>org.apache.hadoop</groupId>-->
        <!--<artifactId>hadoop-client</artifactId>-->
        <!--<version>2.6.5</version>-->
        <!--</dependency>-->
        <!--<dependency>-->
        <!--<groupId>org.apache.hadoop</groupId>-->
        <!--<artifactId>hadoop-mapreduce-client-common</artifactId>-->
        <!--<version>2.6.5</version>-->
        <!--</dependency>-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs-client</artifactId>
            <version>2.8.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.6.5</version>
        </dependency>
        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.2</version>
        </dependency>

    </dependencies>
    <build>
        <plugins>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <appendAssemblyId>false</appendAssemblyId>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <!-- 此处指定main方法入口的class -->
                            <mainClass>com.geotmt.dw.WordCount2</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>assembly</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <!--plugin元素包含描述插件所需要的信息。-->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <!--Compiler 插件包含编译源代码和单元测试代码的目标-->
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                    <!-- “编码 GBK 的不可映射字符”问题的解决 -->
                    <encoding>utf-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

 

 

  1. Main函数追加如下内容：

System.setProperty("hadoop.home.dir", "D:\\soft\\developsoft\\Hadoop\\hadoop-2.6.5");

System.setProperty("HADOOP_USER_NAME", "hdfs");

conf.set("mapreduce.app-submission.cross-platform", "true");

conf.set("mapreduce.job.ubertask.enable", "true");

conf.set("fs.defaultFS","hdfs://10.111.32.165:8020");

conf.set("mapreduce.app-submission.cross-platform", "true");

conf.set("mapreduce.job.ubertask.enable", "true");

conf.set("fs.defaultFS","hdfs://10.111.32.165:8020");

 

  1. 复制测试集群的配置文件放在项目resources中

  1. 运行可以看见：

2019-01-17 16:22:00,924 WARN  [main] shortcircuit.DomainSocketFactory (DomainSocketFactory.java:<init>(117)) - The short-circuit local reads feature cannot be used because UNIX Domain sockets are not available on Windows.

2019-01-17 16:22:02,191 INFO  [main] impl.TimelineClientImpl (TimelineClientImpl.java:serviceInit(292)) - Timeline service address: http://hdp166.tmtgeo.com:8188/ws/v1/timeline/

2019-01-17 16:22:02,529 INFO  [main] client.RMProxy (RMProxy.java:createRMProxy(98)) - Connecting to ResourceManager at hdp166.tmtgeo.com/10.111.32.166:8050

2019-01-17 16:22:03,008 WARN  [main] mapreduce.JobResourceUploader (JobResourceUploader.java:uploadFiles(64)) - Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.

2019-01-17 16:22:12,404 INFO  [main] input.FileInputFormat (FileInputFormat.java:listStatus(281)) - Total input paths to process : 1

2019-01-17 16:22:12,845 INFO  [main] mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(199)) - number of splits:1

2019-01-17 16:22:13,212 INFO  [main] mapreduce.JobSubmitter (JobSubmitter.java:printTokens(288)) - Submitting tokens for job: job_1529566523883_6787

2019-01-17 16:22:13,728 INFO  [main] impl.YarnClientImpl (YarnClientImpl.java:submitApplication(251)) - Submitted application application_1529566523883_6787

2019-01-17 16:22:13,771 INFO  [main] mapreduce.Job (Job.java:submit(1301)) - The url to track the job: http://hdp166.tmtgeo.com:8088/proxy/application_1529566523883_6787/

2019-01-17 16:22:13,772 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1346)) - Running job: job_1529566523883_6787

2019-01-17 16:22:22,007 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1367)) - Job job_1529566523883_6787 running in uber mode : false

2019-01-17 16:22:22,011 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1374)) -  map 0% reduce 0%

2019-01-17 16:22:29,271 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1374)) -  map 100% reduce 0%

2019-01-17 16:22:36,436 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1374)) -  map 100% reduce 100%

2019-01-17 16:22:38,516 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1385)) - Job job_1529566523883_6787 completed successfully

2019-01-17 16:22:38,628 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1392)) - Counters: 49

         File System Counters

                   FILE: Number of bytes read=87

                   FILE: Number of bytes written=285801

                   FILE: Number of read operations=0

                   FILE: Number of large read operations=0

                   FILE: Number of write operations=0

                   HDFS: Number of bytes read=136

                   HDFS: Number of bytes written=45

                   HDFS: Number of read operations=6

                   HDFS: Number of large read operations=0

                   HDFS: Number of write operations=2

         Job Counters

                   Launched map tasks=1

                   Launched reduce tasks=1

                   Data-local map tasks=1

                   Total time spent by all maps in occupied slots (ms)=42024

                   Total time spent by all reduces in occupied slots (ms)=75872

                   Total time spent by all map tasks (ms)=5253

                   Total time spent by all reduce tasks (ms)=4742

                   Total vcore-milliseconds taken by all map tasks=5253

                   Total vcore-milliseconds taken by all reduce tasks=4742

                   Total megabyte-milliseconds taken by all map tasks=43032576

                   Total megabyte-milliseconds taken by all reduce tasks=77692928

         Map-Reduce Framework

                   Map input records=9

                   Map output records=9

                   Map output bytes=63

                   Map output materialized bytes=87

                   Input split bytes=109

                   Combine input records=9

                   Combine output records=9

                   Reduce input groups=9

                   Reduce shuffle bytes=87

                   Reduce input records=9

                   Reduce output records=9

                   Spilled Records=18

                   Shuffled Maps =1

                   Failed Shuffles=0

                   Merged Map outputs=1

                   GC time elapsed (ms)=63

                   CPU time spent (ms)=2300

                   Physical memory (bytes) snapshot=2806378496

                   Virtual memory (bytes) snapshot=23102570496

                   Total committed heap usage (bytes)=6315048960

         Shuffle Errors

                   BAD_ID=0

                   CONNECTION=0

                   IO_ERROR=0

                   WRONG_LENGTH=0

                  WRONG_MAP=0

                   WRONG_REDUCE=0

         File Input Format Counters

                   Bytes Read=27

         File Output Format Counters

                   Bytes Written=45

 

Process finished with exit code 0

 

风少年~
关注
专栏目录
MapReduce之wordcount（基本思想与简单编写提交集群执行）
xinneya的博客
10-27 497
MapReduce 是一种分布式编程模型，用来解决海量数据计算的问题。程序员使用它可以更关注业务逻辑的实现，而不需要花费大量精力在因分布式上运行而带来的问题。 MapReduce 采用分治法的思想，把一个大的任务切分为很多小的任同时执行（Map 阶段），汇总所有的执行结果（Reduce 阶段）。 用户以 kv 对的形式把数据提交给 map，map 处理完后以 kv 对的形式提交给 ...
使用Eclipse编写MapReduce程序并提交到集群运行
weixin_43311978的博客
04-14 1343
本人是在linux虚拟机上安装的 hadoop 集群，版本3.2.1，在本地 Windows 用 Eclipse 开发 Map/Reduce 程序，并提交到集群运行，我们以经典的 wordcount 为例，演示用 Eclipse 开发 MapReduce 程序，Eclipse 要先配置好 Hadoop 开发环境，如果还没配置好可以先看Eclipse配置Hadooop开发环境。 1、新建MapRed...
MapReduce提交集群运行，Yarn调度MR流程
weixin_33675507的博客
07-03 203
一、在windows下调试 产生不兼容问题时下载winunil.rar包解压覆盖配置文件到hadoop包bin目录下即可。 Map： 1.切分单词String line = value.toString(); 2.遍历单词数据输出context.write(new Text(),new IntWritable()); 复制代码Reduce: 1.拿到map给过来的结果对数据中的value.list...
Mapreduce提交任务
weixin_43020359的博客
11-01 1576
一、提交任务 public class Driver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://bigdata01:9000"); Job job = ...
Hadoop之MapReduce编写入门和提交集群运行
ZG_24的博客
05-17 348
1. MapReduce编写入门对于一个MapReduce程序，我们需要编写三个类。第一个类是Mapper类，用于实现map的逻辑。第二个类是Reducer类，用于实现reduce逻辑。第三个类用来描述整个逻辑，来建立业务逻辑间的关联（map与reduce的关联）1.1. Mapper类import java.io.IOException;import org.apache.commons.lan...
Windows下基于Eclipse搭建MapReduce开发环境
twj0823的博客
11-24 2897
首先安装JDK和Eclipse，安装JDK的教程网上很多，Eclipse下在下来解压就可以。值的一提的是，JDK和Eclipse的版本需要对应起来。这里提供一个JDK安装链接：https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html JDK和Eclipse是基本的Java开发环境，为了方便项目构建和依赖管理，推荐安装Maven...
Windows MapReduce 开发环境搭建以及运行实战
实践求真知
12-17 3965
一 插件配置 1 将插件hadoop-eclipse-plugin-2.7.3.jar放入到D:\Program\eclipse-mars\eclipse\plugins目录下。 2 重启eclipse，会发现Prefernces中多一个Hadoop Map/Reduce插件。 3 在windows下安装Hadoop  下载https://mirrors.cnnic.cn/apache/h
windows下编写mapreduce程序
08-05
8. **运行与调试**：一旦代码在本地验证无误，你可以在实际的Hadoop集群上运行MapReduce作业。使用Hadoop的命令行工具提交作业，并通过日志和输出数据进行调试。 总之，在Windows下编写MapReduce程序需要对Hadoop的...
Windows上向集群提交任务.docx
12-13
在Windows环境下向Hadoop集群提交MapReduce任务是大数据处理中常见的操作，这涉及到对...对于大型的分布式计算任务，这种提交方式使得开发者可以在本地开发和测试，然后方便地将任务部署到大规模的Hadoop集群上运行。
本地提交Spark任务到yarn集群
T_Janey
10-12 894
一、本地环境配置 配置本地环境前，先下载相关压缩包：[jdk1.8.0_74.tar.gz]，[hadoop-3.1.2.tar.gz]，[spark-2.3.1.tar.gz]，然后根据本地环境选择mac或windows配置 mac环境配置 配置jdk1.8 可参考https://jingyan.baidu.com/article/7f766daffd99354101e1d095.html 配置hadoop3.0 （1）下载并解压 hadoop-3.1.2.tar.gz （2）添加环境变量HADO
编译过的hadoop-core-1.0.4.jar，可以在本地模拟MapReduce
04-15
编译过的hadoop-core-1.0.4.jar，可以在本地模拟MapReduce 如果Eclipse workspace在d:，则我们可以把d:的某个目录，比如d:\input作为输入目录；d:\output作为输出目录。 MapReduce编程模型里面这样写就可以了： FileInputFormat.setInputPaths(job, new Path("/input")); FileOutputFormat.setOutputPath(job, new Path("/output"));
Hadoop之MapReduce的Java实现在windows下开发需要的winutils等文件
11-25
Hadoop之MapReduce的Java实现在windows下开发需要的winutils等文件，版本为Hadoop2.7.3
Hadoop之MapReduce程序的3种集群提交运行模式详解
ZG_24的博客
05-12 1849
1.MapReduce程序的集群运行模式1MapReduce程序的集群运行模式1—将工程打成jar包，上传到服务器，然后用hadoop命令hadoop jar xxx.jar 将jar包分发到集群中运行。wordcount代码：package MapReduce; import java.io.IOException; import org.apache.hadoop.conf.Configu...
mapReduce中 wordcount 实现、提交集群、运行
chichenyin9669的博客
04-27 281
该例子实现了 hdfs 中某目录下所有文件中出现单词数量的统计。 一共使用到了三个java类： WordcountMapper 负责声名 mapTask WordcountReducer 负责声名 ReduceTask Wordcou...
MapReduce的Job提交流程
weixin_38074756的博客
10-17 390
编写一个简单的WordCount程序 Mapper import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; import java.util.Arrays; public class WordCountMapper extends Mapper<LongWrita
本地MapReduce案例分享
微瞰技术的博客
07-08 388
没有接触的时候，以为MapReduce只能通过远程Hadoop虚拟机才能运行，学习了相关课程之后，发现这种计算也可以在本地运行，只是在部署的时候需要部署到远程服务器上就行了 引入的pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding&gt...
Windows下部署mapreduce程序到hadoop集群相关操作
qq_44871767的博客
05-30 474
前提：你的hadoop集群搭建完毕并配置好 第一步：用sz命令（前提你安装了lrzsz，没有的话直接yum -y install lrzsz）将集群中的 core-site.xml 和 hdfs-site.xml 下载到本地, 放在此电脑的下载里。然后将配置文件放入IDEA的resource目录下。（配置文件在你安装的hadoop目录下的bin下）。 sz： 下载到了本地： 放到resource： 第二步：将编写好的mapreduce程序进行打包上传。 打包好的jar文件在你创建的项目所在位置的ta
[MapReduce_add_1] Windows 下开发 MapReduce 程序部署到集群
weixin_34219944的博客
11-05 73
0. 说明 　　Windows 下开发 MapReduce 程序部署到集群 1. 前提 　　在本地开发的时候保证 resource 中包含以下配置文件，从集群的配置文件中拷贝 　　 　　在 resource 中新建mapred-site.xml（仅做测试使用，打包的时候删掉） <?xml version="1.0"?> &lt...
Windows环境下使用Eclipse开发Hadoop MapReduce程序
开发完成后，通过Eclipse的Map/Reduce视图，可以直接提交作业到Hadoop集群进行测试和调试。这极大地方便了开发者在Windows环境下进行Hadoop程序的开发和调试工作，无需在不同操作系统之间切换。 总结来说，通过在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值