使用Datagrip连接spark-thriftserver使用sparksql

最新推荐文章于 2024-12-15 22:19:21 发布
最新推荐文章于 2024-12-15 22:19:21 发布
阅读量4.2k 收藏 4
点赞数 2
分类专栏： hive Spark-thriftserver sparksql Datagrip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Vitamin__C/article/details/90732491
版权
本文介绍如何使用Datagrip连接Spark-ThriftServer，特别指出在编译Spark时包含Hive支持的重要性。然而，连接过程中遇到无法从Hive-Metastore获取元数据的问题，目前尚未找到解决方案。
摘要由CSDN通过智能技术生成

使用Datagrip连接spark-thriftserver

因为在编译spark时使用含有hive的编译以支持sparksql on hive ，所以在Datagrip连接spark-thriftserver时就不能使用hive的连接驱动版本，而需要spark的，具体改动如下：

但是存在问题，spark-thriftserver无法获取hive-metastore中的元数据库和表的信息，暂无解决办法。

参考网址：

https://stackoverflow.com/questions/44979425/cant-connect-to-spark-thriftserver-using-jdbc

spark start-thriftserver.sh & Kubernetes
zhixingheyi_tian的博客
04-19 1504
启动命令 sh sbin/start-thriftserver.sh –master k8s://https://192.168.99.108:8443 –name spark-thriftserver –conf spark.executor.instances=1 –conf spark.kubernetes.container.image=zhixingheyitian/spark...
【数据仓库】【第六章】开发工具DataGrip使用
weixin_43589563的博客
01-05 960
下载 直接去idea官网下载 安装 激活 使用 datagrip连接Hive客户端 1）启动datagrip后的初始页面 2）连接hive客户端 3）启动hiveserver2 [atguigu@hadoop102 ~]$ hiveserver2 which: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_212/bin:/opt/module/hadoop-3.1.3/bin
Spark在处理数据的时候，会将数据都加载到内存再做处理吗？
大数据学习与分享的博客
09-17 1421
对于Spark的初学者，往往会有一个疑问：Spark（如SparkRDD、SparkSQL）在处理数据的时候，会将数据都加载到内存再做处理吗？ 很显然，答案是否定的！ 对该问题产生疑问的根源还是对Spark计算模型理解不透彻。 对于Spark RDD，它是一个分布式的弹性数据集，不真正存储数据。如果你没有在代码中调用persist或者cache算子，Spark是不会真正将数据都放到内存里的。 此外，还要考虑persist/cache的缓存级别，以及对什么进行缓存（比如是对整张表生成的DataSet缓存还是列
DataGrip编写SQL语句操作Spark(Spark ThriftServer)
weixin_37536020的博客
07-03 2461
thrift server服务出现, 只是提供了新的方式来书写SQL: . beeline方式 或者 图形化界面方式。 适用于: 纯 SQL的开发工作, 开发后, 形成一个个的SQL的脚本, 在部署上线的时候, 采用spark-sql提交运行
使用dataGrip连接spark
weixin_52642840的博客
11-16 500
spark在dataGrip的启动
配置spark on hive，后续可以使用DataGrip连接spark编写sparkSQL
sour_LI的博客
01-12 1341
使用DataGrip连接spark编写sparkSQL
DataGrip连接Phoenix 操作spark
sour_LI的博客
01-12 674
首先，打开datagrip，打开File->new->driver。这样你就可以用datagrip连接上phoenix了。然后，创建phoenix连接。进入Advanced。
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
spark-hive-thriftserver_2.11-2.1.3-SNAPSHOT-123456.jar
04-01
spark-hive-thriftserver_2.11-2.1.spark-hive-thrift
spark-hive-thriftserver_2.11-2.4.5.jar
11-21
spark和hive结合依赖，如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818
hive-jdbc-1.2.1.spark2.jar
04-01
hive-jdbc-1.2.1.spark2.jar
解决datagrip连接spark 看不到hive上的数据库和表的问题
zhtdtg的博客
07-16 508
如果之前可以显示突然之间就不能显示了（和我一样）如下操作，删除该路径下你的版本文件夹然后重新安装当前版本即可。一番捣鼓，问了几个人下来总结：datagrip的bug，升级新版本即可（23年之后的）,今日使用datagrip连接spark时发现spark中不显示数据库和表了如图所示。
如何使用datagrip连接spark
最新发布
weixin_52642840的博客
12-15 361
如何使用datagrip连接spark，并且可以使用hive中的表
datagrip管理hive，创建spark client for session 失败
iridescentc的博客
03-11 2300
创建失败的原因分析和解决办法 1.选用的session不对，一般选用默认的console 2.没有成功连接hive 3.网络状态不佳（大部分情况）
DataGrip安装及使用
冰冰冰
02-03 9100
文章目录第1章 datagrip安装第2章 datagrip激活第3章 datagrip连接Hive客户端第4章 常用配置 第1章 datagrip安装 1）双击datagrip-2020.1.5.exe 2）进入欢迎页面，点击next 3）是否卸载旧的版本 ​ 4）修改安装路径 5）后面所有步骤，一路下一步，直到完成。 第2章 datagrip激活 激活方法和激活idea方法一致。 第3章 datagrip连接Hive客户端 1）启动datagrip后的初始页面 2）连接hive客户端
使用DataGrip执行Hive on Spark插入数据任务失败解决方案
dxy
03-12 1681
使用DataGrip执行Hive on Spark插入数据任务失败解决方案报错1 报错1 org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark sess 解决方案： 1.去你的hive配置文件下找到hive-env.sh文件 2.调大参数 默认为256M，调大内存为2G，这样发在跑HIve on Spark 任务就可以成功，时间缩短。 ...
datagrip的使用
weixin_30709061的博客
02-20 98
http://ywu.iteye.com/blog/2315495 转载于:https://www.cnblogs.com/wangchuanfu/p/6420489.html
halo的grid DataGridColumn itemRenderer 混用 spark 组件
只有准备爆发，才会甘于沉默
03-03 214
halo的grid DataGridColumn itemRenderer  混用 spark 组件 一般在 halo DataGridColumn  itemRenderer  中使用图片在数据源中定义好了 例如： <fx:Declarations> <s:ArrayCollection id="slideShowData"> <fx:Array> &...
spark-thrift和spark-sql的区别
08-23
Spark-Thrift和Spark-SQL是Spark框架中的两个组件，它们有以下区别： 1. Spark-SQL是Spark的一个模块，用于处理结构化数据，支持SQL查询和DataFrame API。它提供了一种高效且易于使用的方法来处理和分析结构化数据。用户可以使用SQL语句或DataFrame API来查询和操作数据。Spark-SQL允许用户直接在Spark应用程序中使用SQL查询，而无需编写复杂的MapReduce代码。 2. Spark-Thrift是Spark的一个独立服务，它提供了一个标准的Thrift接口，用于执行SQL查询。它可以作为一个独立的进程运行，并通过网络接收来自客户端的SQL查询请求，并将查询转发到Spark集群中的Spark-SQL模块进行处理。Spark-Thrift使得可以使用不同的编程语言，如Java、Python、R等，通过Thrift接口与Spark集群交互。 因此，Spark-SQL是Spark框架中用于处理结构化数据的模块，而Spark-Thrift是提供Thrift接口让用户可以使用不同编程语言与Spark-SQL模块交互的独立服务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [CDH15.0支持spark-sql和spark-thrift-server](https://blog.csdn.net/u012458821/article/details/87635599)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [122.Thrift和spark-sql客户端部署](https://blog.csdn.net/m0_47454596/article/details/126856172)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值