【成功】maven编译 apache falcon0.9源码_RedHat6.4

最新推荐文章于 2024-05-10 16:15:20 发布
最新推荐文章于 2024-05-10 16:15:20 发布
阅读量3.7k 收藏 1
点赞数 1
分类专栏： apache falcon 文章标签： apache maven falcon
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huyangshu87/article/details/51141551
版权

背景

最近一直在调查数据分析以及集群的软件，接下来，又开始了BI的调查了，今天就收到邮件，让调查apache falcon。各种环境折腾又开始了。

先理解一下Falcon的架构：



事前准备

  1. apache falcon源码  （本次使用的是最新的apache-falcon-0.9-sources.tar.gz）
  2. jdk(1.7/1.8)
  3. maven(3.X)  apache-maven-3.0.3-bin.tar.gz 【后续提示出错，换成maven3.1.0】


安装

JDK

  1. JDK的安装，此处就不再说明了，很简单，装完后记得配置/etc/profile里JAVA_HOME，完后source一下就OK了，确认如下：

[root@sv004 project]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)


maven

  1. maven的安装，本人第一次，也很简单，解压，配置MAVEN_BIN，然后使用mvn -v确认是否安装。效果如下所示：

[root@sv004 apache-maven-3.0.3]# ./bin/mvn -v
Apache Maven 3.0.3 (r1075438; 2011-03-01 02:31:09+0900)
Maven home: /home/project/apache-maven-3.0.3
Java version: 1.7.0_67, vendor: Oracle Corporation
Java home: /usr/java/jdk1.7.0_67/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"

本次的重点来了

使用maven编译falcon源码

1.解压falcon源码

tar -xzvf apache-falcon-${project.version}-source.tar.gz
cd falcon-sources-${project.version}

2.编译falcon 

export MAVEN_OPTS="-Xmx1024m -XX:MaxPermSize=256m -noverify" && mvn clean install

但此时报错了 

[INFO] Scanning for projects...
Downloading: http://repo1.maven.org/maven2/org/apache/apache/17/apache-17.pom
Downloading: https://raw.github.com/InMobi/mvn-repo/master/releases/org/apache/apache/17/apache-17.pom
Downloading: http://repo.hortonworks.com/content/repositories/releases/org/apache/apache/17/apache-17.pom
Downloading: https://repository.apache.org/content/groups/snapshots/org/apache/apache/17/apache-17.pom
Downloading: https://repository.apache.org/content/groups/public/org/apache/apache/17/apache-17.pom
Downloading: https://maven.java.net/content/groups/public/org/apache/apache/17/apache-17.pom
Downloading: https://repository.jboss.org/nexus/content/groups/public/org/apache/apache/17/apache-17.pom
Downloading: https://repository.cloudera.com/artifactory/cloudera-repos/org/apache/apache/17/apache-17.pom
[ERROR] The build could not read 1 project -> [Help 1]
[ERROR]   
[ERROR]   The project org.apache.falcon:falcon-main:0.9 (/home/project/apache-maven-3.0.3/falcon-sources-0.9/pom.xml) has 1 error
[ERROR]     Non-resolvable parent POM: Could not transfer artifact org.apache:apache:pom:17 from/to central (http://repo1.maven.org/maven2): Error transferring file: repo1.maven.org and 'parent.relativePath' points at wrong local POM @ line 21, column 13: Unknown host repo1.maven.org -> [Help 2]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/ProjectBuildingException
[ERROR] [Help 2] http://cwiki.apache.org/confluence/display/MAVEN/UnresolvableModelException


原因

根据Unkown host信息调查了一下，应该是代理设置的有问题，我的maven使用的是默认的，没有设置，坑就被我踩到了。

参考URL:http://stackoverflow.com/questions/15334394/could-not-transfer-artifact-org-apache-maven-pluginsmaven-surefire-pluginpom2/15334627#15334627


解决策

修改我的maven/conf/setting.xml，如下所示：

  <proxies>
     <proxy>
      <active>true</active>
      <protocol>http</protocol>
      <host>***.***.***.***</host>  ⇒代理的IP地址
      <port>8080</port>
      <nonProxyHosts>maven</nonProxyHosts>
    </proxy>
  </proxies>

完后重新执行

export MAVEN_OPTS="-Xmx1024m -XX:MaxPermSize=256m -noverify" && mvn clean install
第一次时间比较长，取决你的网速，因为要下载好多依赖包文件。


好事多磨呀.....

Exception while executing SCM command.
[INFO] Storing buildScmBranch: UNKNOWN_BRANCH
[INFO] 
[INFO] --- maven-remote-resources-plugin:1.5:process (default) @ falcon-ui ---
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Falcon ..................................... SUCCESS [18:56.122s]
[INFO] Apache Falcon UI .................................. FAILURE [3.810s]
[INFO] Checkstyle ........................................ SKIPPED
[INFO] Build Tools ....................................... SKIPPED
[INFO] Apache Falcon Java client ......................... SKIPPED
[INFO] Apache Falcon CLI client .......................... SKIPPED
[INFO] Apache Falcon Metrics ............................. SKIPPED
[INFO] Apache Falcon Hadoop Dependencies ................. SKIPPED
[INFO] Apache Falcon Test Utility ........................ SKIPPED
[INFO] Apache Falcon Commons ............................. SKIPPED
[INFO] Apache Falcon Oozie EL Extension .................. SKIPPED
[INFO] Apache Falcon Embedded Hadoop - Test Cluster ...... SKIPPED
[INFO] Apache Falcon Sharelib Hive - Test Cluster ........ SKIPPED
[INFO] Apache Falcon Sharelib Pig - Test Cluster ......... SKIPPED
[INFO] Apache Falcon Sharelib Hcatalog - Test Cluster .... SKIPPED
[INFO] Apache Falcon Sharelib Oozie - Test Cluster ....... SKIPPED
[INFO] Apache Falcon Test Tools - Test Cluster ........... SKIPPED
[INFO] Apache Falcon Messaging ........................... SKIPPED
[INFO] Apache Falcon LIfecycle Module .................... SKIPPED
[INFO] Apache Falcon Oozie Adaptor ....................... SKIPPED
[INFO] Apache Falcon Scheduler ........................... SKIPPED
[INFO] Apache Falcon Acquisition ......................... SKIPPED
[INFO] Apache Falcon Distcp Replication .................. SKIPPED
[INFO] Apache Falcon Retention ........................... SKIPPED
[INFO] Apache Falcon Archival ............................ SKIPPED
[INFO] Apache Falcon Rerun ............................... SKIPPED
[INFO] Apache Falcon Prism ............................... SKIPPED
[INFO] falcon-unit ....................................... SKIPPED
[INFO] Apache Falcon Web Application ..................... SKIPPED
[INFO] Apache Falcon Documentation ....................... SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 19:04.642s
[INFO] Finished at: Thu Apr 14 02:38:36 JST 2016
[INFO] Final Memory: 18M/237M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:0.0.23:install-node-and-npm (install node and npm) on project falcon-ui: The plugin com.github.eirslett:frontend-maven-plugin:0.0.23 requires Maven version 3.1.0 -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/PluginIncompatibleException
[ERROR] 
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :falcon-ui

根据报错信息来看，maven的版本与下载的插件的版本不一致导致的，根据提示信息，遂决定使用maven3.1.0。

构建好Maven3.1.0的环境后，重新再次编译falcon源码，结果悲剧了，install-node-and-npm无法下载.......

[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Falcon ..................................... SUCCESS [2.380s]
[INFO] Apache Falcon UI .................................. FAILURE [1:02.489s]
[INFO] Checkstyle ........................................ SKIPPED
[INFO] Build Tools ....................................... SKIPPED
[INFO] Apache Falcon Java client ......................... SKIPPED
[INFO] Apache Falcon CLI client .......................... SKIPPED
[INFO] Apache Falcon Metrics ............................. SKIPPED
[INFO] Apache Falcon Hadoop Dependencies ................. SKIPPED
[INFO] Apache Falcon Test Utility ........................ SKIPPED
[INFO] Apache Falcon Commons ............................. SKIPPED
[INFO] Apache Falcon Oozie EL Extension .................. SKIPPED
[INFO] Apache Falcon Embedded Hadoop - Test Cluster ...... SKIPPED
[INFO] Apache Falcon Sharelib Hive - Test Cluster ........ SKIPPED
[INFO] Apache Falcon Sharelib Pig - Test Cluster ......... SKIPPED
[INFO] Apache Falcon Sharelib Hcatalog - Test Cluster .... SKIPPED
[INFO] Apache Falcon Sharelib Oozie - Test Cluster ....... SKIPPED
[INFO] Apache Falcon Test Tools - Test Cluster ........... SKIPPED
[INFO] Apache Falcon Messaging ........................... SKIPPED
[INFO] Apache Falcon LIfecycle Module .................... SKIPPED
[INFO] Apache Falcon Oozie Adaptor ....................... SKIPPED
[INFO] Apache Falcon Scheduler ........................... SKIPPED
[INFO] Apache Falcon Acquisition ......................... SKIPPED
[INFO] Apache Falcon Distcp Replication .................. SKIPPED
[INFO] Apache Falcon Retention ........................... SKIPPED
[INFO] Apache Falcon Archival ............................ SKIPPED
[INFO] Apache Falcon Rerun ............................... SKIPPED
[INFO] Apache Falcon Prism ............................... SKIPPED
[INFO] falcon-unit ....................................... SKIPPED
[INFO] Apache Falcon Web Application ..................... SKIPPED
[INFO] Apache Falcon Documentation ....................... SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 1:05.883s
[INFO] Finished at: Thu Apr 14 20:57:47 JST 2016
[INFO] Final Memory: 30M/303M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:0.0.23:install-node-and-npm (install node and npm) on project falcon-ui: Could not extract the Node archive: Could not extract archive: '/home/project/apache-maven-3.1.0/falcon-sources-0.9/falcon-ui/node_tmp/node.tar.gz': EOFException -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apach
最低0.47元/天 解锁文章
磨刀人
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
大数据生命周期管理框架Apache Falcon简介
chihuagou0225的博客
06-20 1464
Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化hadoop集群的数据流管理. 本文主要介绍了Falcon的基本特性, 核心概念...
apache-maven-3.6.3-src和bin_备份
05-18
Apache Maven 是一个强大的项目管理和构建工具，主要用于Java应用程序的开发。Maven 使用一种标准化的项目对象模型（Project Object Model，POM），通过依赖管理和项目生命周期的概念，使得构建、配置和管理Java项目...
Apache Falcon数据集管理和数据处理平台
weixin_34040079的博客
05-24 2550
2019独角兽企业重金招聘Python工程师标准>>> ...
AI人工智能培训老师叶梓：大数据治理的关键工具：开源数据血缘分析系统
最新发布
人工智能前沿分享
05-10 698
Calcite 是由 Apache 软件基金会维护的一个开源框架，它为 Java 应用程序提供了一个强大的工具集，用于处理关系型数据。Calcite 的功能包括 SQL 解析、查询优化、以及能够与各种数据源交互的适配器。它能够将 SQL 查询转换成优化的执行计划，这些计划可以在不同的数据平台上执行，从而提高了查询性能并降低了成本。SQL 解析：支持 SQL 的多种语法，包括 SELECT、JOIN、UNION 等。查询优化：提供查询计划的优化，包括逻辑优化和物理优化。数据源抽象。
Apache Falcon (in the Attic) (a project managed by the Apache Attic Committee)
BLOG域名:programb.blog.csdn.net
05-02 305
Apache Falcon is a data processing and management solution for Hadoop designed for data motion, coordination of data pipelines, lifecycle management, and data discovery. Falcon enables end consumers t...
APACHE　FALCON 　CLI
Nobigo
09-27 1159
1.Debug模式 在这一模式下，Falcon CLI将能够输出Web Services API中关于你正在执行命令的详情。 例如： 执行成功： 执行失败：   Entity Management Operations 1.submit 用途：用于实体定义。 用法：$FALCON_HOME/bin/falcon
Apache Falcon升级为Apache顶级项目
weixin_34148456的博客
01-29 169
Apache Falcon是一个面向Hadoop的、新的数据处理和管理平台，设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载（onboard）”到Hadoop集群。近日，Apache基金会宣布Falcon升级为顶级项目。\\Apache Falcon项目副主管Srikanth Sundarrajan说：\\\Apache Fa...
apache-maven-3.6.0_apache-maven-3.6.0_maven压缩包_maven3.6.0下载_
10-02
Apache Maven 是一个强大的项目管理和构建工具，主要用于Java项目。它基于项目对象模型（Project Object Model，POM）的概念，能够管理项目的构建、报告和文档。Maven 3.6.0是该工具的一个稳定版本，提供了许多改进...
swf.rar_flex_maven 编译flex_maven flex pom_maven flex 编译_swf开发
09-23
标题"swf.rar_flex_maven 编译flex_maven flex pom_maven flex 编译_swf开发"明确指出我们将讨论使用Maven来构建SWF（ShockWave Flash）文件的Flex项目。SWF是Adobe Flash Player播放的文件格式，通常用于在网络...
apache-maven-3.6.2_maven_
09-30
Apache Maven 是一个强大的项目管理和构建工具，主要用于Java项目。它基于项目对象模型（Project Object Model，POM）的概念，能够管理项目的构建、报告和依赖关系。Maven 的核心理念是通过标准化的构建生命周期和...
apache-maven20210225_maven_
10-01
Apache Maven 是一个强大的Java项目管理工具，它基于项目对象模型（Project Object Model，POM）的概念，能够自动化构建过程，管理依赖关系，并提供了一系列的生命周期和插件来简化开发流程。"apache-maven20210225_...
Apache Falcon简介-Hadoop数据生命周期管理框架
壹零万联的博客
11-14 1101
Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化hadoop集群的数据流管理. 本文主要介绍了Falcon的基本特性, 核心概念以及架构, 最后讨论了它的优点和局限. Hortonworks的hadoop发行版HDP中,数据治理...
centos安装部署apache falcon
dongyuguoai的博客
09-13 694
有限的参考资料: https://yuedu.baidu.com/ebook/12edb5aca1116c175f0e7cd184254b35eefd1a09?pn=1 https://blog.csdn.net/huyangshu87/article/details/51141551 https://blog.csdn.net/it_dx（该博主有几篇关于falcon的文章）  ...
apache falcon 编译
weixin_34236869的博客
05-18 121
2019独角兽企业重金招聘Python工程师标准>>> ...
The plugin org.apache.maven.plugins:maven-assembly-plugin:3.4.2 requires Maven version 3.2.5
qq 117791303
12-27 477
The plugin org.apache.maven.plugins:maven-assembly-plugin:3.4.2 requires Maven version 3.2.5
The plugin org.apache.maven.plugins:maven-clean-plugin:3.2.0 requires Maven version 3.2.5
qq 117791303
12-27 1114
The plugin org.apache.maven.plugins:maven-clean-plugin:3.2.0 requires Maven version 3.2.5
Atlas编译
qq_38502578的博客
11-15 1885
下载Apache Atlas源码 官方下载地址：http://atlas.apache.org/Downloads.html 解压 tar -xvfz apache-atlas-2.0.0-sources.tar.gz 编译 cd apache-atlas-sources-2.0.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests...
Apache 错误及解决方法
error311的博客
01-27 2102
错误： 1.安装时出现错误： D:\Apache\Apache24\bin>httpd.exe -k install Installing the 'Apache2.4' service The 'Apache2.4' service is successfully installed. Testing httpd.conf.... Errors reported here must ...
Falcon（一）——数据集管理和数据处理平台
Nobigo
02-26 6219
目的：使终端用户在面向Hadoop集群进行数据集处理和数据集管理更加容易。原因 在Hadoop环境中，在各种数据集和处理关系之间建立关系 在集群中进行数据集管理例如数据集声明周期、数据集复制等 抓取数据集或者处理过程的血统信息。 允许本地数据和其他任何地方的集群进行数据整合。 与metastore和catalog进行整合，例如：Hive和Hcatalog Easy to onboard new wo
apache jmeter 5.6源码编译
11-23
要编译 Apache JMeter 5.6 的源代码，您需要按照以下步骤进行操作： ...总之，按照上述步骤，您应该能够成功编译 Apache JMeter 5.6 的源代码。编译后，您可以在生成的文件中找到可执行文件并进行使用。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值