在hadoop上运行java程序

最新推荐文章于 2024-04-24 22:51:49 发布
最新推荐文章于 2024-04-24 22:51:49 发布
阅读量3.3k 收藏 3
点赞数
分类专栏： hadoop 文章标签： java hadoop jar
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangzhihaohao/article/details/7378333
版权

一、建立org目录，在里边写上WordCount.java程序，我直接复制的示例程序


二、编译java程序，javac -classpath ./hadoop-0.20.2-core.jar:./lib/commons-cli-1.2.jar org/WordCount.java。


三、把程序打成jar，建立manifest.mf文件，里边写上Main-Class: org.myorg.WordCount，然后执行jar cvfm WordCount.jar manifest.mf -C org/ .


四、运行WordCount，bin/hadoop jar WordCount.jar /MapReduce/input/wordcount /MapReduce/output/wordcount3

shangzhihaohao
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
WordCount_MapReduce:在 Hadoop 上运行的 MapReduce 程序
07-08
WordCount_MapReduce 在 Hadoop 上运行的 MapReduce 程序
在Hadoop集群中运行自己写的JAVA代码
u012321968的博客
08-05 784
将JAVA源代码生成jar包 1.maven的pom文件中加入以下依赖 <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>2.3.2</version> <configu
使用Java连接Hadoop进行编程
wr456wr的博客
06-24 3364
测试Java远程连接hadoop 编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream",要求如下： ①实现按行读取HDFS中指定文件的方法”readLine（）“，如果读到文件末尾，则返回为空，否则返回文件一行的文本 ②实现缓存功能，即利用”MyFSDataInputStream“读取若干字节数据时，首先查找缓存，如果缓存中有所需要数据，则直接由缓存提供，否则从HDFS中读取数据 实...
hadoop实验——Java连接hadoop，对hadoop进行管理教程
m0_59799878的博客
09-23 2786
（5）导入hdfs所需的jar包，jar包在在安装hadoop目录下的share目录下的hadoop目录下的四个目录，这里我导入jar包的方法是将share目录下的hadoop目录复制粘贴到eclipse的java项目中再将jar包解析。接下来是FileSystem，这是一个抽象类，这个类是非常重要的类，通常就是用该类来对hadoop中存储的文件进行增删改查，它有很多方法，可查看hadoop API帮助文档进行了解与使用，文档网址如下。也就几行代码，对hadoop的管理步骤就。
hadoop jar包_计算机毕业设计中hadoop上运行Java程序
weixin_39670464的博客
11-30 1111
点击上方“蓝字”，关注我们.第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件，只是引入其匝包，该eclipse可以安装在windows或者linux中，如果是在windows中安装的，且在其虚拟机安装的linux，可以通过共享文件夹来实现传递。2，编写要测试...
java操作hadoop_Hadoop学习笔记（三）：java操作Hadoop
weixin_31052141的博客
02-12 2460
1.启动hadoop服务。2.hadoop默认将数据存储带/tmp目录下，如下图：由于/tmp是linux的临时目录，linux会不定时的对该目录进行清除，因此hadoop可能就会出现意外情况。下面对这个配置进行修改。修改core-site.xml文件vim /usr/local/hadoop/etc/hadoop/core-site.xml将这个值修改到/var/hadoop目录下3.修改...
【大数据Java】Hadoop
qq_61109834的博客
09-23 227
7.创建Map Reduce 输入文件 /tmp/MR-WordCount,上传到 YouTube 数据集当作 WordCount程序的输入文件.5.编译 WordCount.java. 输入下面的命令编译 WordCount.java 程序并设置正确的路径及输出目录.6.为编译的 wordcount目录创建一个.jar 文件. 因为需要将该 .jar 发送到集群的其他节点同时运行.1.文件上传到 /home/hadoop/data/wordcount。10.运行MapReduce。
hadoop上运行java_原生态在hadoop上运行java程序
weixin_32285357的博客
02-15 963
第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件，只是引入其匝包，该eclipse可以安装在windows或者linux中，如果是在windows中安装的，且在其虚拟机安装的linux，可以通过共享文件夹来实现传递。2，编写要测试的数据，如命名为tempdata3，利...
hadoop如何运行java程序(jar包)运行时动态指定参数
AKA石头
06-15 3832
1）首先启动hadoop2个进程，进入hadoop/sbin目录下，依次启动如下命令 [root@node02 sbin]# pwd /usr/server/hadoop/hadoop-2.7.0/sbin start-dfs.sh start-yarn.sh jps 2）通过jps查看是否正确启动，确保启动如下6个程序 [root@node02 sbin]# jps 10096 DataNode 6952 NodeManager 9962 NameNode 10269 SecondaryNameNod
PageRank_MapReduce:在 Hadoop 上运行的 MapReduce 程序
07-08
PageRank_MapReduce 在 Hadoop 上运行的 MapReduce 程序
Hadoop入门程序java源码
11-03
Hadoop集群搭建好后，这是用于测试用的入门级java程序源码，也是我博文的一个补充，欢迎查看下载
Intellij-Hadoop:使用 Intellij 运行 Hadoop 程序
05-29
使用 Intellij 和 Maven 在本地运行 Hadoop 程序您可以使用这种方法在本地编写和测试您的 Hadoop 程序，而无需在您自己的机器上配置 Hadoop 环境或使用集群。 本教程基于 ， 。要求 JDK Linux 或 Mac 操作系统如何...
eclipse里运行hadoop程序出现的错误总结
01-20
在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件 2、 错误： org.apache.hadoop.io.nativeio.NativeIO$Win dows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决办法： ...
将hadoop与java的编译器idea相连
04-17
将hadoop与java的编译器idea相连，并编写wordcount程序
string模拟实现
m0_73969414的博客
04-23 1287
c++中string的模拟实现，面试必会知识点
javaweb-SpringBoot基础
kussm_的博客
04-20 1212
Spring的官网(Spring的简介：Spring makes Java simple。Spring Boot 可以帮助我们非常快速的构建应用程序、简化开发、提高效率。创建一个子包controller。
Java | 冒泡排序算法实现
最新发布
yingzix688的博客
04-24 601
题目描述 编写一个Java程序，实现冒泡排序算法。程序需要能够接收一个整型数组作为输入，并输出排序后的数组。 冒泡排序是一种简单的排序算法，它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。
JUC(java.util.concurrent) 的常见类
weixin_43497876的博客
04-20 1291
Callable 是一个 interface（类似之前的 Runnable，用来描述一个任务，但是没有返回值）也是描述一个任务的，有返回值。方便程序猿借助多线程的方式计算结果.创建线程计算 1 + 2 + 3 + ... + 1000, 不使用 Callable。
Java中如何实现minio文件上传
Keep__Me的博客
04-19 1265
前面已经在docker中部署了minio服务，那么该如何在Java代码中使用？这篇说下minio在Java中的配置跟使用。
.java程序如何在hadoop上运行
05-17
要在Hadoop上运行Java程序，可以按照以下步骤进行操作： 1. 开发Java程序，并将其打包成可执行的JAR文件。 2. 在Hadoop集群上创建输入和输出目录。 3. 将JAR文件上传到Hadoop集群中。 4. 使用Hadoop命令行工具...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值