HadoopCV(2)—— hadoop平台上运行javaCV程序

本文详细介绍了在Ubuntu 12.04 LTS系统上,如何在Hadoop 2.3.0单节点模式下配置和运行基于JavaCV的图像处理程序。首先,文章指导读者下载并编译hadoop-computer-vision工程,接着安装OpenCV,并确保其与JavaCV版本兼容。通过一系列的命令行操作,包括使用javac和jar命令编译及打包,最终在Hadoop上成功运行JavaCV程序。文章还提到了未来可能的C函数混编方案,以便调用C的OpenCV函数,实现更复杂的图像处理任务。
摘要由CSDN通过智能技术生成

本文介绍如何调通hadoop-computer-vision这个例子,该工程使用javacv在hadoop平台上处理图像,工程链接如下:

点击打开链接  

      首先介绍运行环境:ubuntu-12-04-lts系统,安装了hadoop-2.3.0的单节点模式。关于如何安装双系统和hadoop在此省略,读者自行google相关教程,可参考如下链接:点击打开链接

      以下的配置过程都是在命令行中完成,没有使用Eclipse等IDE,但是思路应该是差不多的。大致过程为:下载 hadoop-computer-vision工程;安装openCV;安装javaCV;运行工程中的例子。

      首先下载工程,按照工程网站上的说明,在linux命令行中使用svn命令即可。

      在下载后的 hadoop-computer-vision-read-only/hadoop-computer-vision文件夹中有readme,但是写的太简单,如果想直接粘贴到命令行里运行就能成功就太naive了。。。

../bin/hadoop fs -put input input
../bin/hadoop fs -rmr output</span>
      这两步问题,但是hadoop-computer-vision.jar还没生成呢,下面就是如何编译java程序的问题了,这其中还涉及各种依赖,由于这部分当时没有详细记录下来,只说下大概。由于没接触过java开发,出错和走弯路是肯定的,读者自己搜解决方法。 

      关于命令行下如何编译运行java写的wordcount程序,可参考如下链接:点击打开链接

其中涉及的命令有:

javac:编译java程序,注意依赖的Classpath里有hadoop相关的.jar文件,path在哪里自己找。jar命令将生成的class打包成.jar。最后用 hadoop jar 命令运行之。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
要在Hadoop运行Java程序,可以按照以下步骤进行操作: 1. 开发Java程序,并将其打包成可执行的JAR文件。 2. 在Hadoop集群上创建输入和输出目录。 3. 将JAR文件上传到Hadoop集群中。 4. 使用Hadoop命令行工具运行JAR文件,将输入目录和输出目录作为参数传递给程序。 下面是一个简单的示例,演示如何在Hadoop运行Java程序: 1. 开发Java程序 编写一个简单的Java程序,用于统计文本文件中每个单词出现的次数。这里假设程序的名称为WordCount.java。 2. 打包JAR文件 使用Java编译器编译程序,并将其打包成一个JAR文件。假设JAR文件的名称为wordcount.jar。 3. 创建输入和输出目录 在Hadoop集群上创建输入和输出目录。假设输入目录为/input,输出目录为/output。 4. 上传JAR文件 将JAR文件上传到Hadoop集群中。可以使用Hadoop命令行工具或FTP等工具进行上传。 5. 运行程序 使用Hadoop命令行工具运行JAR文件,并将输入目录和输出目录作为参数传递给程序。假设代码中的主类名为WordCountMain,运行命令如下: ``` hadoop jar wordcount.jar WordCountMain /input /output ``` 这将启动Hadoop作业,并将输入目录和输出目录作为参数传递给程序程序将读取输入目录中的文件,并将结果写入输出目录中。 注意:Hadoop的具体命令和参数可能会因版本不同而有所变化。在运行程序之前,请查看相关文档,并确保您已正确配置Hadoop集群。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值