使用Datagrip连接spark-thriftserver使用sparksql

最新推荐文章于 2024-07-16 20:01:54 发布
最新推荐文章于 2024-07-16 20:01:54 发布
阅读量4.1k 收藏 4
点赞数 1
分类专栏： hive Spark-thriftserver sparksql Datagrip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Vitamin__C/article/details/90732491
版权

使用Datagrip连接spark-thriftserver

因为在编译spark时使用含有hive的编译以支持sparksql on hive ，所以在Datagrip连接spark-thriftserver时就不能使用hive的连接驱动版本，而需要spark的，具体改动如下：

但是存在问题，spark-thriftserver无法获取hive-metastore中的元数据库和表的信息，暂无解决办法。

参考网址：

https://stackoverflow.com/questions/44979425/cant-connect-to-spark-thriftserver-using-jdbc

Vitamin__C
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Spark在处理数据的时候，会将数据都加载到内存再做处理吗？
大数据学习与分享的博客
09-17 1321
对于Spark的初学者，往往会有一个疑问：Spark（如SparkRDD、SparkSQL）在处理数据的时候，会将数据都加载到内存再做处理吗？ 很显然，答案是否定的！ 对该问题产生疑问的根源还是对Spark计算模型理解不透彻。 对于Spark RDD，它是一个分布式的弹性数据集，不真正存储数据。如果你没有在代码中调用persist或者cache算子，Spark是不会真正将数据都放到内存里的。 此外，还要考虑persist/cache的缓存级别，以及对什么进行缓存（比如是对整张表生成的DataSet缓存还是列
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
解决datagrip连接spark 看不到hive上的数据库和表的问题
最新发布
zhtdtg的博客
07-16 180
如果之前可以显示突然之间就不能显示了（和我一样）如下操作，删除该路径下你的版本文件夹然后重新安装当前版本即可。一番捣鼓，问了几个人下来总结：datagrip的bug，升级新版本即可（23年之后的）,今日使用datagrip连接spark时发现spark中不显示数据库和表了如图所示。
【ClickHouse】第三方工具DataGrip的使用、Clickhouse整合spark、Clickhouse整合flink、sparkcore方式、sparksql方式 （五）
大数据爱好者的博客
06-21 236
方法提供的第三方工具蛮多的，它们提供了一些ClickHouse的接口。它可以是可视化界面、命令行界面或API，比如：Client libraries、Integrations、GUI、Proxies等等。
DataGrip编写SQL语句操作Spark(Spark ThriftServer)
weixin_37536020的博客
07-03 1930
thrift server服务出现, 只是提供了新的方式来书写SQL: . beeline方式 或者 图形化界面方式。 适用于: 纯 SQL的开发工作, 开发后, 形成一个个的SQL的脚本, 在部署上线的时候, 采用spark-sql提交运行
配置spark on hive，后续可以使用DataGrip连接spark编写sparkSQL
sour_LI的博客
01-12 1078
使用DataGrip连接spark编写sparkSQL
DataGrip连接Phoenix 操作spark
sour_LI的博客
01-12 519
首先，打开datagrip，打开File->new->driver。这样你就可以用datagrip连接上phoenix了。然后，创建phoenix连接。进入Advanced。
datagrip管理hive，创建spark client for session 失败
iridescentc的博客
03-11 2256
创建失败的原因分析和解决办法 1.选用的session不对，一般选用默认的console 2.没有成功连接hive 3.网络状态不佳（大部分情况）
spark-hive-thriftserver_2.11-2.1.3-SNAPSHOT-123456.jar
04-01
spark-hive-thriftserver_2.11-2.1.spark-hive-thrift
spark-hive-thriftserver_2.11-2.4.5.jar
11-21
spark和hive结合依赖，如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818
goshine:spark-thriftserver 的 go 客户端库
07-02
2. **Spark Thrift Server**: 是 Spark 提供的一个组件，它通过 Thrift 服务接口暴露 Spark SQL 功能，使得非 Scala/Java 应用可以通过 JDBC/ODBC 连接到 Spark，并执行 SQL 查询。 3. **Thrift**: 是一种软件框架...
hive-jdbc-1.2.1.spark2.jar
04-01
hive-jdbc-1.2.1.spark2.jar
spark-jobserver：适用于Apache Spark的REST作业服务器
02-05
spark-jobserver提供了一个RESTful接口，用于提交和管理作业，jar和作业上下文。 此存储库包含完整的Spark作业服务器项目，包括单元测试和部署脚本。 它最初始于 ，但现在是主要的开发仓库。 其他有用的链接：，， ...
DataGrip安装及使用
冰冰冰
02-03 8961
文章目录第1章 datagrip安装第2章 datagrip激活第3章 datagrip连接Hive客户端第4章 常用配置 第1章 datagrip安装 1）双击datagrip-2020.1.5.exe 2）进入欢迎页面，点击next 3）是否卸载旧的版本 ​ 4）修改安装路径 5）后面所有步骤，一路下一步，直到完成。 第2章 datagrip激活 激活方法和激活idea方法一致。 第3章 datagrip连接Hive客户端 1）启动datagrip后的初始页面 2）连接hive客户端
使用DataGrip执行Hive on Spark插入数据任务失败解决方案
dxy
03-12 1532
使用DataGrip执行Hive on Spark插入数据任务失败解决方案报错1 报错1 org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark sess 解决方案： 1.去你的hive配置文件下找到hive-env.sh文件 2.调大参数 默认为256M，调大内存为2G，这样发在跑HIve on Spark 任务就可以成功，时间缩短。 ...
datagrip的使用
weixin_30709061的博客
02-20 79
http://ywu.iteye.com/blog/2315495 转载于:https://www.cnblogs.com/wangchuanfu/p/6420489.html
halo的grid DataGridColumn itemRenderer 混用 spark 组件
只有准备爆发，才会甘于沉默
03-03 193
halo的grid DataGridColumn itemRenderer  混用 spark 组件 一般在 halo DataGridColumn  itemRenderer  中使用图片在数据源中定义好了 例如： <fx:Declarations> <s:ArrayCollection id="slideShowData"> <fx:Array> &...
Spark连接数据库方法
RotKang
04-28 3409
Version：Spark 1.3.0   方法一： val rdd = new JdbcRDD(sc,()=>{ Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("url", "user", "password") },"select * fro
解决HUE使用sparksql查询无法显示元数据的问题
Tom_yj的博客
02-09 730
解决HUE使用sparksql查询无法显示元数据的问题 解决方法： 1、首先你的hive肯定要能用，我们就是将spark的元数据查询请求转换为hive的元数据请求 2、操作步骤： cd /opt/cloudera/parcels/CDH/lib/hue/build/static/desktop/js vi apiHelper.js ApiHelper.prototype.fetchSourceMetadata = function (options) { var self = this; v
spark-thrift和spark-sql的区别
08-23
Spark-Thrift和Spark-SQL是Spark框架中的两个组件，它们有以下区别： 1. Spark-SQL是Spark的一个模块，用于处理结构化数据，支持SQL查询和DataFrame API。它提供了一种高效且易于使用的方法来处理和分析结构化数据。用户可以使用SQL语句或DataFrame API来查询和操作数据。Spark-SQL允许用户直接在Spark应用程序中使用SQL查询，而无需编写复杂的MapReduce代码。 2. Spark-Thrift是Spark的一个独立服务，它提供了一个标准的Thrift接口，用于执行SQL查询。它可以作为一个独立的进程运行，并通过网络接收来自客户端的SQL查询请求，并将查询转发到Spark集群中的Spark-SQL模块进行处理。Spark-Thrift使得可以使用不同的编程语言，如Java、Python、R等，通过Thrift接口与Spark集群交互。 因此，Spark-SQL是Spark框架中用于处理结构化数据的模块，而Spark-Thrift是提供Thrift接口让用户可以使用不同编程语言与Spark-SQL模块交互的独立服务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [CDH15.0支持spark-sql和spark-thrift-server](https://blog.csdn.net/u012458821/article/details/87635599)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [122.Thrift和spark-sql客户端部署](https://blog.csdn.net/m0_47454596/article/details/126856172)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值