CDH5.x 使用Spark-sql

最新推荐文章于 2023-04-18 18:26:06 发布
最新推荐文章于 2023-04-18 18:26:06 发布
阅读量939 收藏 1
点赞数
文章标签： hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/knife_pan/article/details/45917751
版权

cdh5 中如果使用spark-sql
1.进入到spak安装目录，进入bin目录下，修改 compute-classpath.sh,CALSSPATH 中加入hive jar

CLASSPATH="$CLASSPATH:/opt/soft/BI/cloudera/cm/cm5.3.1/cloudera/parcels/CDH/lib/hive/lib/*"

2.在bin目录下执行

./hive-sql --master yarn -executor-memory 2g --num-executor 2 --driver-memory 4g
KNIFE_PAN
关注
CDH5.5自行编译支持sparkSQL，sparkR
oufuji的博客
12-15 4252
第一步：编译支持hive的spark assembly http://blog.csdn.net/xiao_jun_0820/article/details/44178169 第二步：让cloudera manager装的spark支持hql  http://blog.csdn.net/xiao_jun_0820/article/details/44680925 发
cdh使用sparksql_CDH Spark SQL
weixin_30916255的博客
01-14 800
Spark SQL允许您使用SQL或使用DataFrame API查询Spark程序内的结构化数据。有关Spark SQL的详细信息，请参阅Spark SQL和DataFrame指南。继续阅读：SQLContext和HiveContext所有Spark SQL功能的入口点是 SQLContext 类或其后代之一。你创建一个 SQLContext 从一个 SparkContext 。使用SQLC...
cdh5支持spark-sql cli怪招
张伟的专栏
12-01 1066
cdh5支持spark-sql cli怪招 2016年05月16日LeeNo comments CDH5.7.0默认情况下是没有提供spark-sql cli的，我曾尝试用tarball以standalone模式部署过spark集群，都是自带spark-sql命令，于是就想到Copy Tarball里的spark-sql文件到$SPARK_HOME/bin目录下
CDH6.3.2添加spark-sql
丰耳的博客
02-18 5304
前言 众所周知，CDH为了推自家的Impala，阉割掉了Spark的spark-sql工具，虽然很多时候我们并不需要spark-sql,但是架不住特殊情况下有使用它的时候，这个根据项目或者团队（个人）情况而异。我这边就是因为项目原因，需要使用spark-sql，因此从网上各种查资料，折腾了好几天，最终在CDH集群上集成了spark-sql，以下操作并不能保证百分百适配你的环境，但思路可供借鉴。 集成步骤 下载Apache-spark2.4.0 因为CDH6.3.2使用的Spark版本是2.4.0,为了避免使
cdh6.x 集成spark-sql
涤生大数据
07-28 2289
cdh spark-sql
spark-sql_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-sql_2.11-2.4.0-cdh6.1.1.jar
spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.zip
04-23
同时，理解DataFrame和Dataset API，以及如何利用Spark SQL进行复杂查询，是有效使用Spark 2.4.0的关键。对于机器学习任务，熟悉MLlib和Spark MLlib库将有助于构建和训练模型。总的来说，这个压缩包提供了一套完整的...
spark-3.3.1-bin-3.0.0-cdh6.3.2.tgz
11-23
spark 3.3.1 使用 cdh 6.3.2 的hadoop版本。可以直接兼容并配合文档进行cdh spark-sql的使用。 具体查看https://editor.csdn.net/md/?articleId=127997188
spark-streaming-kafka-0-10_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-streaming-kafka-0-10_2.11-2.4.0-cdh6.1.1.jar
CDH6.3.2之升级spark-3.3.1.doc
最新发布
03-06
### CDH6.3.2升级Spark至3.3.1详细步骤与注意事项 #### 一、背景介绍 在CDH6.3.2中，默认的Spark版本为2.4.0。为了满足更高的性能需求及功能扩展，本文将详细介绍如何将Spark升级至3.3.1版本的过程。此次升级的...
SQLi-knife：一种用于检测和利用SQLi漏洞SQL注入引擎
02-18
SQLi刀 SQL注入引擎，用于检测和利用SQLi漏洞 使用示例：python SQLi-knife.py -u
CDH6.3.2集成spark-sql完整版本
qq_36363012的博客
08-17 1183
CDH6.3.2集成spark-sql完整版本
大数据技术（入门篇）--- 使用Spring Boot 操作 CDH6.2.0 Spark SQL进行离线计算
编码爱好者
04-18 3351
Spring Boot 操作 CDH6.2.0集群中的 Spark，使用Spark-SQL技术，实现离线计算， 查询示例：简单的条件查询、稍微复杂一些的聚合查询、每行数据对象，转换为自定义Class对象、目标数据存储到MySQL数据库中、符合断言判断
CDH 5.14x 配置spark sql查询hive
zhaolq1024的博客
03-13 1796
配置idea spark sql连接hive 1.首先将/etc/hive/conf/的hive-site.xml复制到项目的resources下 2.添加maven依赖到pom.xml文件，不仅需要添加spark-sql，还需要添加spark-hive，spark版本2.2.0，scala版本2.10 <!-- https://mvnrepository.co...
实现CDH支持Spark SQL功能
热门推荐
sunyang098的博客
08-11 1万+
CDH内嵌spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是很不爽的！so，就手动实现支持spark-sql的功能吧 1.下载spark的包 http://www.apache.org/   -》    右上角download   -》 HTTP  http://apach
对应chd5.14的spark_CDH5.14集成Spark-sql，并用2种方式运行sql。附案例
weixin_39842237的博客
12-22 182
本篇文章主要讲述如何在CDH中启动Spark Thrift。本次测试的版本：CDH版本：5.14.2spark：1.6.0文中主要用root来部署，但是启动的时候用的spark用户，中间会有一些权限方面的问题。大家可以根据提示自行添加权限。我这边权限不够默认都给了777，方便测试。文中的spark服务器与hive元数据的服务器不在同一台服务器上。所以不会涉及端口冲突的错误。(spark Thrif...
cm 5.14 离线安装spark2.2 on yarn 并测试
qq_18629653的博客
11-07 363
cm5.14中的spark版本是默认是1.6，安装2.2版本的需要手动安装 安装准备： csd包：http://archive.cloudera.com/spark2/csd/ SPARK2_ON_YARN-2.2.0.cloudera3.jar parcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera3/ 注意： 这里cloudera3对应上边下载的jar包的3，版本要一致 el5...
cdh5.3中配置sparksql
diaoyou1466的博客
06-19 218
在cdh5.3中的spark，已经包含了sparksql，只需要做以下几步配置，就可以在使用该功能 1）确保hive的cli和jdbc都可以正常工作 2）把hive-site.xml 复制到 SPARK_HOME/conf目录下 3）将hive的类库添加到spark classpath中：编辑SPARK_HOME/bin/compute-classpath.sh文件 　　在文件...
CDH5 Hue Spark报错完美解决方案
csypeng的专栏
07-28 2812
CDH5自己集成了Spark，根据gu可以很方便的安装
CDH6.x环境下Apache Hudi的版本适配与改造指南
- CDH6.x删除了spark-sql中的OrcFileFormat，因此需要升级到兼容的Spark版本2.4.4-cdh6.x。 2. **Flink**： - 虽然未详细列出Flink的具体修改，但通常在不同版本间升级可能涉及API更改，需要检查并适配代码。 3....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值