编译cdh的spark，使得支持spark-sql

最新推荐文章于 2023-04-18 18:26:06 发布
最新推荐文章于 2023-04-18 18:26:06 发布
阅读量352 收藏
点赞数
文章标签： 大数据 shell
原文链接：https://my.oschina.net/cjun/blog/727883
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

cloudera公司集成的spark是不带spark-sql的，如果需要让cdh的spark支持spark-sql，需要重新编译spark

网上有参考资料，大概步骤是编译，替换jar包，把spark-sql的shell脚本放到bin目录下，注意，还有可能需要更改/opt/cloudera/parcels/CDH/lib/spark/conf/classpath.txt，这个文件里面就是spark有那些jar包和包路径。

参考：CDH5.5自行编译支持sparkSQL，sparkR   重新编译spark 增加spark-sql适配CDH

转载于:https://my.oschina.net/cjun/blog/727883

weixin_33806300
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
解决CDH内嵌Spark版本不支持spark-sql的方案
阿啄debugIT
02-15 2943
1.概述 CDH内嵌Spark版本不支持spark-sql,因为cloudera在推自己的impala，但是有些场景需要用到Spark-sql时，比如Kylin企业版想要加快构建需要用到SparkSQL，大概的思路就是换jar包，很多资料，千篇一律是要加入hive&hivethriftserver重新编译源码再打成jar才能支持，其实我们只需要到官网去把编译好的spark包下下来，直接替...
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
实现CDH支持Spark SQL功能
热门推荐
sunyang098的博客
08-11 1万+
CDH内嵌spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是很不爽的！so，就手动实现支持spark-sql的功能吧 1.下载spark的包 http://www.apache.org/   -》    右上角download   -》 HTTP  http://apach
编译spark源码使sparksql支持hive（cdh的）
cjhdb的博客
08-31 1093
一：首先设置maven的内存 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 二：在spark的目录下执行该命令（cd spark-1.3.0） mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1 -Phive -Phive-thriftserver
重新编译spark源码，使CDH支持spark sql
鱼归不知处
12-28 1204
1、编辑$MAVEN_HOME/bin/mvn文件，增加配置： MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 2、执行mvn命令： mvn -Pyarn -PHadoop-2.6 -Dhadoop.version=2.6.0-cdh5.8.3 -Dscala-2.10.5 -Phive -Phi
cdh6.x 集成spark-sql
涤生大数据
07-28 2034
cdh spark-sql
适配CDH6.3.2的Spark3.2.2
08-16
2. **SQL增强**：Spark SQL支持更多的SQL标准，包括窗口函数、CUBE和ROLLUP聚合、新的数据类型（如JSON和UUID）以及改进的JOIN策略。此外，性能也得到了优化，例如，通过改进的代码生成和查询优化。 3. **PySpark...
成功编译后的 spark-2.1.0-bin-2.6.0-cdh5.7.0
04-03
总的来说，"spark-2.1.0-bin-2.6.0-cdh5.7.0"提供了在CDH 5.7.0环境下运行Spark SQL的能力，能够帮助数据工程师和分析师高效地处理大规模数据。编译Spark的成功不仅体现了你对大数据技术的掌握，也为你提供了自定义...
spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz
03-11
Spark 2.1.0是Apache Spark的一个重要版本，它在Hadoop CDH5.7.0环境下进行了编译和打包，为用户提供了在CDH（Cloudera Distribution Including Apache Hadoop）平台上的Spark功能。这个版本的Spark是大数据处理领域...
CDH 6.3.2 SPARK3 PARCEL 实测可用，支持CDH 5-6版本
最新发布
06-11
标题 "CDH 6.3.2 SPARK3 PARCEL 实测可用，支持CDH 5-6版本" 暗示了这是一个关于在Cloudera Data Hub (CDH) 平台上部署和使用Apache Spark 3.0的 parcel 文件的讨论。Parcel 是CDH的一种分发机制，用于在集群中安装...
spark-sql_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-sql_2.11-2.4.0-cdh6.1.1.jar
重新编译spark 增加spark-sql适配CDH
Dino系我的专栏
12-19 9283
spark-sql
大数据技术（入门篇）--- 使用Spring Boot 操作 CDH6.2.0 Spark SQL进行离线计算
编码爱好者
04-18 3248
Spring Boot 操作 CDH6.2.0集群中的 Spark，使用Spark-SQL技术，实现离线计算， 查询示例：简单的条件查询、稍微复杂一些的聚合查询、每行数据对象，转换为自定义Class对象、目标数据存储到MySQL数据库中、符合断言判断
CDH6.3.2添加spark-sql
丰耳的博客
02-18 4836
前言 众所周知，CDH为了推自家的Impala，阉割掉了Spark的spark-sql工具，虽然很多时候我们并不需要spark-sql,但是架不住特殊情况下有使用它的时候，这个根据项目或者团队（个人）情况而异。我这边就是因为项目原因，需要使用spark-sql，因此从网上各种查资料，折腾了好几天，最终在CDH集群上集成了spark-sql，以下操作并不能保证百分百适配你的环境，但思路可供借鉴。 集成步骤 下载Apache-spark2.4.0 因为CDH6.3.2使用的Spark版本是2.4.0,为了避免使
cdh5.9添加sparksql cli直接操作hive
tianjun2012的专栏
07-12 4832
由于项目需要，需要在cloudera的spark中直接用sparksql操作hive，但是cloudera的spark中没有sparksql cli（也就是没有spark-sql命令），有关解决方案网上比较多。cloudera的安装参照这篇博客基本上就可以离线安装好cloudera 我在自己笔记本的虚拟机上装了一天半的时间，最后还是部分框架没有安装成功，总结的经验就是cloudera通过cm来安装
cdh使用sparksql_为什么cdh 放弃了 spark-sql命令？
weixin_39919089的博客
01-14 473
一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2注：/data/spark-1.4.0-bin-cdh4/为spark的安装路径/data/spark-1.4.0-b...
cloudera manager安装CDH版本的spark 无法连接解决办法
广志大兄弟的博客
05-28 5485
前提：在很久很久以前，搭了一套cloudera manger 的集群，全组件安装上之后，一直没有使用spark ，安装时出现了很多问题，这个权限不足，那个权限不足的，到最后只将用的那几个组件给调试好了，其他的一直都没管。最近使用了spark 发现7077无法连接。 这个都无法连接，你让我在这上面怎么跑我风骚帅气的代码，找找原因吧。毕竟是cloudera manger安装的，而且安装过程中还出现了一...
CDH spark客户端安装错误
叁木大数据
07-24 558
CDH客户端安装错误 一、问题描述 在安装Spark客户端时有两台机器安装成功但是有一台安装失败，并报错退出。 二、问题解决思路 查看启动日志。 发现启动失败的那台机器调用jdk时失败 三、解决思路 spark安装客户端时没有去找环境变量中的jdk,而是找的/usr/java目录下的 所以只需要把jdk路径软连接到 /usr/java/default目录下（如果没有default目录则创建）...
cloudera如何在spark-shell命令行执行spark hql
weixin_34014277的博客
07-07 237
2019独角兽企业重金招聘Python工程师标准>>> ...
spark-thrift和spark-sql的区别
08-23
Spark-Thrift和Spark-SQL是Spark框架中的两个组件，它们有以下区别： 1. Spark-SQL是Spark的一个模块，用于处理结构化数据，支持SQL查询和DataFrame API。它提供了一种高效且易于使用的方法来处理和分析结构化数据。用户可以使用SQL语句或DataFrame API来查询和操作数据。Spark-SQL允许用户直接在Spark应用程序中使用SQL查询，而无需编写复杂的MapReduce代码。 2. Spark-Thrift是Spark的一个独立服务，它提供了一个标准的Thrift接口，用于执行SQL查询。它可以作为一个独立的进程运行，并通过网络接收来自客户端的SQL查询请求，并将查询转发到Spark集群中的Spark-SQL模块进行处理。Spark-Thrift使得可以使用不同的编程语言，如Java、Python、R等，通过Thrift接口与Spark集群交互。 因此，Spark-SQL是Spark框架中用于处理结构化数据的模块，而Spark-Thrift是提供Thrift接口让用户可以使用不同编程语言与Spark-SQL模块交互的独立服务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [CDH15.0支持spark-sql和spark-thrift-server](https://blog.csdn.net/u012458821/article/details/87635599)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [122.Thrift和spark-sql客户端部署](https://blog.csdn.net/m0_47454596/article/details/126856172)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值