[3]CarbonData编译与可能的依赖错误

最新推荐文章于 2024-03-04 20:19:59 发布
最新推荐文章于 2024-03-04 20:19:59 发布
阅读量497 收藏
点赞数
分类专栏： [28]CarbonData
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjw199089/article/details/88752009
版权

carbondata 编译依赖错误

（1）拉取carbondata master分支build失败
Could not resolve dependencies for project org.apache.carbondata:carbondata-core:jar:1.6.0-SNAPSHOT

这可能是当前的master分支相关依赖在maven中央仓库中不存在。
如现在mater分支为1.6.0-snapshot，但maven中央仓库不存在carbondata-core:jar:1.6.0-SNAPSHOT。mvnrepository:
在这里插入图片描述

(2) 通过git tag 查看版本tag，从版本tag快照中checkout一个稳定版本，基于该版本编译即可
/carbondata$ git tag
apache-carbondata-0.1.0-incubating
apache-carbondata-0.1.1-incubating
apache-carbondata-0.2.0-incubating
apache-carbondata-1.0.0-incubating
apache-carbondata-1.1.0
apache-carbondata-1.1.1
apache-carbondata-1.2.0
apache-carbondata-1.3.0
apache-carbondata-1.3.0-rc1
apache-carbondata-1.3.1
apache-carbondata-1.4.0
apache-carbondata-1.4.0-rc1
apache-carbondata-1.4.1
apache-carbondata-1.4.1.rc1
apache-carbondata-1.5.0
apache-carbondata-1.5.0-rc1
apache-carbondata-1.5.1
apache-carbondata-1.5.1-rc1
apache-carbondata-1.5.2
apache-carbondata-1.5.2-rc1

如基于apache-carbondata-1.5.2 tag快照checkout出1.5.2分支来使用：

/carbondata$  git checkout -b branch-1.5.2 apache-carbondata-1.5.2 

/carbondata$ git branch 
* branch-1.5.2
  master
/carbondata$ mvn -DskipTests -Pspark-2.1 -Dspark.version=2.1.0 clean package
hjw199089
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CarbonData 1.5.2编译部署步骤(spark2.3.2)
zxz306418932的博客
07-17 700
简介： Apache CarbonData是在Apache Hadoop、Apache Spark等大数据平台上实现快速分析的索引柱状数据存储解决方案。 Apache CarbonData 是一种新的融合存储解决方案，利用先进的列式存储，索引，压缩和编码技术提高计算效率，从而加快查询速度，其查询速度比 PetaBytes 数据快一个数量级。 Apache CarbonData是首个由中国公司...
carbondata-hadoop-1.3.0-all编译包
02-28
Apache CarbonData1.3.0编译包 mvn clean package -DskipTests -Pspark-2.1 -Dspark.version=2.1.0 -Phadoop-2.7.2 [INFO] Reactor Summary: [INFO] [INFO] Apache CarbonData :: Parent ........................ SUCCESS [02:54 min] [INFO] Apache CarbonData :: Common ........................ SUCCESS [01:49 min] [INFO] Apache CarbonData :: Core .......................... SUCCESS [06:20 min] [INFO] Apache CarbonData :: Processing .................... SUCCESS [ 51.336 s] [INFO] Apache CarbonData :: Hadoop ........................ SUCCESS [ 32.951 s] [INFO] Apache CarbonData :: Spark Common .................. SUCCESS [05:33 min] [INFO] Apache CarbonData :: Streaming ..................... SUCCESS [01:04 min] [INFO] Apache CarbonData :: Spark2 ........................ SUCCESS [06:15 min] [INFO] Apache CarbonData :: Spark Common Test ............. SUCCESS 02:02min] [INFO] Apache CarbonData :: Assembly ...................... SUCCESS [ 15.719 s] [INFO] Apache CarbonData :: Hive .......................... SUCCESS [03:17 min] [INFO] Apache CarbonData :: presto ........................ SUCCESS [06:00 min] [INFO] Apache CarbonData :: Spark2 Examples ............... SUCCESS [01:19 min] [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 38:34 min [INFO] Finished at: 2018-02-27T23:41:47-08:00 [INFO] Final Memory: 124M/237M [INFO] ------------------------------------------------------------------------
CarbonData编译与安装
weixin_30496751的博客
08-15 134
原文连接http://xiguada.org/carbondata_compile/ CarbonData是啥？ CarbonData is a fully indexed columnar and Hadoop native data-store for processing heavy analytical workloads and detailed queries on big ...
carbondata1.5.1编译
JasonLee实时计算
12-08 563
What is CarbonData? Apache CarbonData is an indexed columnar data format for fast analytics on big data platform, e.g. Apache Hadoop, Apache Spark, etc. 因为我的spark是2.3.1的版本,而最新版的carbondata1.5.1才支持,但是...
CarbonData部署和使用
Yore - Home
08-30 4811
本文主要介绍了华为开源的一个新型的大数据列式存储格式CarbonData。简要描述了CarbonData的特性。有介绍了CarbonData的安装以及和Spark的集成，最后在spark-shell中通过编程执行SQL，测试了CREATE、LOAD、SELECT、INSERT、UPDATE、DELETE
基于Trino358和Carbondata2.2.0编译的Trino Carbondata Plugin
08-16
同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。 Trino完全基于内存的并⾏计算，分布式SQL交互式查询引擎.是一种Massively parallel processing (MPP)架构，多个节点管道式执⾏,⽀持任意数据源...
Qt编译依赖软件打包
12-23
Qt5.9源码编译所依赖的软件工具打包ruby、Perl、python-2.7.15、jom https://qing666888.blog.csdn.net/article/details/85062214
kaldi交叉编译各类依赖包
11-24
kaldi交叉编译各类依赖包，包括： alsa-lib-1.1.7.tar.bz2 clapack-3.1.1.1.tgz OpenBLAS-master.zip openfst-1.6.7.tar.gz pa_stable_v190600_20161030.tgz
Subversion源码编译依赖
05-06
资源包包含以下用于SVN源码依赖的文件（解压到Subversion的同级目录即可） apr apr-iconv apr-util sqlite-amalgamation swigwin zlib cmd.txt
CarbonData详细解析
weixin_43114209的博客
09-25 5693
CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。
CarbonData应用实践和未来规划.pdf
12-26
CarbonData应用实践和未来规划.pdf。
关于CarbonData+Spark SQL的一些应用实践和调优
fengyuruhui123的博客
09-20 4335
大数据时代，中大型企业数据的爆发式增长，几乎每天都能产生约 100GB 到 10TB 的数据。而企业数据分系统构建与扩张，导致不同应用场景下大数据冗余严重。行业亟需一个高效、统一的融合数仓，从海量数据中快速获取有效信息，从而洞察机遇、规避风险。在这样的现状下，CarbonData 诞生了，作为首个由中国贡献给Apache社区的顶级开源项目，CarbonData 提供了一种新的融合数据存储方案，以一份
快速生成sparksql创建carbondata表结构（同步mysql或sqlserver数据）脚本
qq_25073261的博客
08-18 681
前言 当实时同步mysql或sqlserver很多表数据到carbondata时，经常要手动调整脚本涉及到的每个表的字段、类型及对应建表语句，耗费大量的机械比对粘贴复制工作时间、精力，下面介绍的脚本能快速调整好改动点，只需手动复制改一下即可（快速、准确） 需同步的mysql或sqlserver原表结构 //sqlserver CREATE TABLE [dbo].[TOTicket] ( [Id] char(16) COLLATE Chinese_PRC_CI_AS NOT NULL, [Park
实战技术：单表千亿电信大数据场景，使用Spark+CarbonData替换Impala案例
weixin_41663412的博客
03-14 419
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 【背景介绍】 国内某移动局点使用Impala组件处理电信业务详单，每天处理约100TB左右详单，详单表记录每天大于百亿级别，在使用impala过程中存在以下问题: 详单采用Parquet格式存储，数据表使用时间+MSISDN号码做分区，使用Impala查询，利用不上分区的查询场景，则查询性能比较差。 在使用Impal...
云小课｜MRS基础原理之CarbonData入门
华为云官方博客
10-29 1682
CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。
Carbondata编译适配Spark3
最新发布
大数据，Linux，服务器，技术、架构，方案
03-04 913
分析上下文发现这里应该是编译路径选择了spark2.x版本造成的，查看源码发现mv模块下缺少spark3.3目录及profile。解决办法：修改AggregatePushDown.scala:193，给Average加上第二个参数false；中项目源码适配的spark版本最高为3.1,我们需要进行spark3.3版本的编译适配。然后可以正常创建表，执行加载数据和查询命令，注意加载数据路径要写file开头的符号。local查询正常，待测yarn模式。太多地方要改，入不敷出。jar包是确实存在的，实际需要在。
maven依赖的项目报错Could not resolve dependencies for project
热门推荐
清风的Blog
07-18 8万+
maven依赖的项目报错Could not resolve dependencies for project问题 maven如果依赖本地项目 如图，myservice依赖了myinterface, 1 则首先将myinterface 执行clean , packageResults :Tests run: 0, Failures: 0, Errors: 0, Skipped: 0[INFO
Could not resolve dependencies for project . Could not find artifact
szh1124的专栏
07-13 2353
[ERROR] Failed to execute goal on project integration-arquillian-tests-sssd: Could not resolve dependencies for project org.keycloak.testsuite:integration-arquillian-tests-sssd:jar:3.3.0.CR1-SNAPSHO
分布式项目Maven打包出现Could not resolve dependencies for project、Could not find artifact问题解决
MMMMasker的博客
09-25 1449
分布式项目中会用到多模块，就会形成父子工程，需要模块之间的依赖 我的模块分布式如下： ├── common --公共资源模块 ├── base --返回类、编码枚举类 ├── config --公共配置 ├── domain --数据库映射对象 ├── repository --持久层接口 ├── service
Xposed源码编译与Android系统集成指南
"xposed源码编译与集成" 在Android开发领域，Xposed框架是一个非常重要的工具，它允许开发者在不修改APK的情况下影响应用程序或系统的行为。本资源主要聚焦于如何编译Xposed框架的源码并将其集成到Android系统中。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值