CDH5.5.0中配置运行Spark SQL的Thrift Server

最新推荐文章于 2023-03-15 16:27:00 发布
最新推荐文章于 2023-03-15 16:27:00 发布
阅读量5k 收藏 4
点赞数
分类专栏： spark ThriftServer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oufuji/article/details/50328067
版权
在CDH5.5.0版本中，Spark SQL和SparkR组件未包含，缺少start-thriftserver.sh脚本，导致SQL查询默认使用MR。要启用Spark SQL，你需要寻找替代方法来配置Thrift Server。
摘要由CSDN通过智能技术生成

CDH5.5.0里面阉割了spark-sql和sparkR，目录里面都没有start-thriftserver.sh，哪怕是spark Standalone部署。


前面帖子讲到，CDH5.5.0 spark-sql没有的情况下，在一个节点部署外面社区版的spark1.5.2，spark on yarn后，spark-sql shell的方式可以查询了。
但是问题来了，jdbc如何使用spark-sql？
Hive的配置里面有HiveServer2是开着的，如下：
插图：


很好，metastore也开着，beeline测试一下
beeline -u jdbc:hive2://192.168.100.11:10000/default -n hive

可以连接上。但是执行的sql，用的是MR，有木有搞错？

插图：
最低0.47元/天 解锁文章
富兰克林008
关注
专栏目录
CDH15.0支持spark-sql和spark-thrift-server
u012458821的博客
02-18 708
CDH15.0支持spark-sql和spark-thrift-server一、前言二、部署Spark-assembly Jar包三、部署Spark ThriftServer启动和停止脚本四、部署Spark sql cli交互shell端 一、前言 CDH 自带的Spark 不支持Spark Thrift，因为spark-assembly jar中缺少Hive thrift相关的依赖包，导致CDH...
spark start-thriftserver.sh & Kubernetes
zhixingheyi_tian的博客
04-19 1468
启动命令 sh sbin/start-thriftserver.sh –master k8s://https://192.168.99.108:8443 –name spark-thriftserver –conf spark.executor.instances=1 –conf spark.kubernetes.container.image=zhixingheyitian/spark...
启动thriftserver.sh
qq_43688472的博客
12-28 2746
一：启动流程 [hadoop@hadoop001 spark-2.4.0-bin-2.6.0-cdh5.7.0]$ cd sbin [hadoop@hadoop001 sbin]$ ./start-thriftserver.sh starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /home/h...
SparkSQL（3）：开启ThriftServer服务
小蚯蚓的博客
10-31 7496
一、实现功能 SparkSQL的ThriftServer服务其实就是Hive的hiveServer2服务，只是将底层的执行改成spark，同时在spark上启动。 二、配置 1.修改hive-site.xml的hiveserver2的配置信息 <property> <name>hive.server2.thrift.bind.host</name> ...
CDH5.3.2中配置运行Spark SQL的Thrift Server
weixin_33912445的博客
09-07 125
2019独角兽企业重金招聘Python工程师标准>>> ...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
【Hue警告】必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序。
12-14
标题中的“【Hue警告】必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序”指出了一个关键的问题，即为了能够通过Hue UI界面顺利地浏览和操作HBase数据库，需要在HBase服务中设置Thrift...
hue-3.9.0-cdh5.5.0.tar.gz
03-07
hue-3.9.0-cdh5.5.0.tar.gz
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
在CDH5.5.0中，HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）是两个核心组件，它们在高可用性（HA）模式下的配置尤为重要。HDFS HA允许数据节点和名称节点的冗余，以确保即使单...
重新编译、安装spark assembly，使CDH5.5.1支持sparkSQL
zhenzhendeblog的博客
07-27 4554
重新编译、安装spark assembly，使CDH5.5.1支持sparkSQLCDH内嵌spark版本不支持spark-sql，sparkR,如果要使用，需要将hive的相关依赖包打进spark assembly jar中，下面就是针对spark-sql的编译、安装步骤一.在任意一台linux机器上准备编译环境spark-1.5.0.tgz 下载地址: https://spark.apache
【大数据学习】之 ThriftServer
奔走觅衣粮de博客
03-18 2884
ThriftServer 1、启动，[hadoop@hadoop001 sbin]$ ./start-thriftserver.sh 查看是否启动成功jps-m 查看UI界面 2、通过客户端beeline来连接 a、进入 /home/hadoop/app/spark-2.3.1-bin-2.6.0-cdh5.12.0/bin b、[hadoop@hadoop001 b...
采用yarn方式启动spark-thriftserver
java技术分享
08-16 1722
采用yarn方式启动spark-thriftserver
sparkSQL1.1入门之七：ThriftServer和CLI
mmicky的hadoop、Spark世界
09-09 1万+
spark1.1相较于spark1.0，最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL，在真正意义上进入了SQL时代。下面先简单介绍其使用，限于时间关系，以后再附上源码分析。 1：ThriftServer和CLI的命令参数 A：令人惊讶的CLI
spark中thriftserver服务端、beeline客户端使用
GulfMoon
09-27 1874
一、thriftserver服务端 1. 启动服务 $SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1 1）指定服务端端口 hive.server2.thrift.port ...
Spark Thrift Server 部署与应用
weixin_38251332的博客
03-08 9134
前言 在介绍spark thrift server 需要先介绍一下其与hiverserver2及spark-sql的关系与区别 HiveServer2 Hive提供了一个命令行终端，在安装了Hive的机器上，配置好了元数据信息数据库和指定了Hadoop的配置文件之后输入hive命令，就可以进入到hive的交互式终端，接下来只要编写SQL语句即可，这跟传统RDB数据库提供的终端是类似的。 启动hiveserver2服务后，Hive除了可以通过hive提供的beeline以cli的方式操作hive，还提供了j
Sparkthrift Server 启动命令调优及问题报错解决
最新发布
weixin_42151880的博客
03-15 2358
文章目录1、sparkthrift Server 启动命令2、实际生产过程中的报错解决2.1、Kryo serialization failed: Buffer overflow. Available: 0, required: 2428400. To avoid this, increase spark.kryoserializer.buffer.max value2.2、java.lang.OutOfMemoryError: GC overhead limit exceeded2.3、Job abort
Spark Thrift Server 架构和原理介绍
热门推荐
u013332124的专栏
05-19 2万+
文章目录一、Spark Thrift Server介绍二、部署Spark Thrift Server三、Spark Thrift Server的架构四、Spark Thrift Server如何执行SQL五、和HiveServer2的区别Spark Thrift Server的优点Spark Thrift Server的缺点六、结论 一、Spark Thrift Server介绍 Spark Th...
SparkSQL之thriftserver/beeline的使用
vincent_duan的专栏
03-27 616
启动thriftserver 使用命令启动：./start-thriftserver.sh --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar。 然后使用jps -m查看，可以看到SparkSubmit 同样可以通过浏览器进行访问。实际上beeline访问端口则需要访问10000 启动客户...
Spark-SQL连接Hive 的五种方法
qq_53114527的博客
12-09 4861
Spark-SQL连接Hive 的五种方法
CDH6.3.2 Spark SQL开发与Windows本地环境配置手册
"该资源是关于在CDH6.3.2环境下进行Spark SQL的本地开发手册，包括了Hadoop Windows本地开发环境的配置指南，以及如何修改Maven的settings配置文件以使用Cloudera仓库下载依赖。" Spark是大数据处理领域的一个重要...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值