使用Datagrip连接spark-thriftserver使用sparksql

最新推荐文章于 2024-01-12 16:39:30 发布
最新推荐文章于 2024-01-12 16:39:30 发布
阅读量4k 收藏 4
点赞数 1
分类专栏： hive Spark-thriftserver sparksql Datagrip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Vitamin__C/article/details/90732491
版权

使用Datagrip连接spark-thriftserver

因为在编译spark时使用含有hive的编译以支持sparksql on hive ，所以在Datagrip连接spark-thriftserver时就不能使用hive的连接驱动版本，而需要spark的，具体改动如下：

但是存在问题，spark-thriftserver无法获取hive-metastore中的元数据库和表的信息，暂无解决办法。

参考网址：

https://stackoverflow.com/questions/44979425/cant-connect-to-spark-thriftserver-using-jdbc

Vitamin__C
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Spark在处理数据的时候，会将数据都加载到内存再做处理吗？
大数据学习与分享的博客
09-17 1306
对于Spark的初学者，往往会有一个疑问：Spark（如SparkRDD、SparkSQL）在处理数据的时候，会将数据都加载到内存再做处理吗？ 很显然，答案是否定的！ 对该问题产生疑问的根源还是对Spark计算模型理解不透彻。 对于Spark RDD，它是一个分布式的弹性数据集，不真正存储数据。如果你没有在代码中调用persist或者cache算子，Spark是不会真正将数据都放到内存里的。 此外，还要考虑persist/cache的缓存级别，以及对什么进行缓存（比如是对整张表生成的DataSet缓存还是列
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
DataGrip编写SQL语句操作Spark(Spark ThriftServer)
weixin_37536020的博客
07-03 1781
thrift server服务出现, 只是提供了新的方式来书写SQL: . beeline方式 或者 图形化界面方式。 适用于: 纯 SQL的开发工作, 开发后, 形成一个个的SQL的脚本, 在部署上线的时候, 采用spark-sql提交运行
DataGrip连接Phoenix 操作spark
sour_LI的博客
01-12 477
首先，打开datagrip，打开File->new->driver。这样你就可以用datagrip连接上phoenix了。然后，创建phoenix连接。进入Advanced。
配置spark on hive，后续可以使用DataGrip连接spark编写sparkSQL
最新发布
sour_LI的博客
01-12 989
使用DataGrip连接spark编写sparkSQL
datagrip管理hive，创建spark client for session 失败
iridescentc的博客
03-11 2247
创建失败的原因分析和解决办法 1.选用的session不对，一般选用默认的console 2.没有成功连接hive 3.网络状态不佳（大部分情况）
DataGrip安装及使用
冰冰冰
02-03 8925
文章目录第1章 datagrip安装第2章 datagrip激活第3章 datagrip连接Hive客户端第4章 常用配置 第1章 datagrip安装 1）双击datagrip-2020.1.5.exe 2）进入欢迎页面，点击next 3）是否卸载旧的版本 ​ 4）修改安装路径 5）后面所有步骤，一路下一步，直到完成。 第2章 datagrip激活 激活方法和激活idea方法一致。 第3章 datagrip连接Hive客户端 1）启动datagrip后的初始页面 2）连接hive客户端
spark-hive-thriftserver_2.11-2.1.3-SNAPSHOT-123456.jar
04-01
spark-hive-thriftserver_2.11-2.1.spark-hive-thrift
spark-hive-thriftserver_2.11-2.4.5.jar
11-21
spark和hive结合依赖，如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818
goshine:spark-thriftserver 的 go 客户端库
07-02
戈欣spark-thriftserver 的 go 客户端库
hive-jdbc-1.2.1.spark2.jar
04-01
hive-jdbc-1.2.1.spark2.jar
spark-jobserver：适用于Apache Spark的REST作业服务器
02-05
spark-jobserver提供了一个RESTful接口，用于提交和管理作业，jar和作业上下文。 此存储库包含完整的Spark作业服务器项目，包括单元测试和部署脚本。 它最初始于 ，但现在是主要的开发仓库。 其他有用的链接：，， ...
使用DataGrip执行Hive on Spark插入数据任务失败解决方案
dxy
03-12 1486
使用DataGrip执行Hive on Spark插入数据任务失败解决方案报错1 报错1 org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark sess 解决方案： 1.去你的hive配置文件下找到hive-env.sh文件 2.调大参数 默认为256M，调大内存为2G，这样发在跑HIve on Spark 任务就可以成功，时间缩短。 ...
datagrip的使用
weixin_30709061的博客
02-20 77
http://ywu.iteye.com/blog/2315495 转载于:https://www.cnblogs.com/wangchuanfu/p/6420489.html
halo的grid DataGridColumn itemRenderer 混用 spark 组件
只有准备爆发，才会甘于沉默
03-03 190
halo的grid DataGridColumn itemRenderer  混用 spark 组件 一般在 halo DataGridColumn  itemRenderer  中使用图片在数据源中定义好了 例如： <fx:Declarations> <s:ArrayCollection id="slideShowData"> <fx:Array> &...
Spark连接数据库方法
RotKang
04-28 3398
Version：Spark 1.3.0   方法一： val rdd = new JdbcRDD(sc,()=>{ Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("url", "user", "password") },"select * fro
解决HUE使用sparksql查询无法显示元数据的问题
Tom_yj的博客
02-09 709
解决HUE使用sparksql查询无法显示元数据的问题 解决方法： 1、首先你的hive肯定要能用，我们就是将spark的元数据查询请求转换为hive的元数据请求 2、操作步骤： cd /opt/cloudera/parcels/CDH/lib/hue/build/static/desktop/js vi apiHelper.js ApiHelper.prototype.fetchSourceMetadata = function (options) { var self = this; v
【2022】安装神通数据库及DataGrip连接
zuo1057559550的博客
07-03 8284
全网最简单良心保姆级安装教程（没有之一）
安装datagrip以及datagrip连接hive
qq_55906442的博客
05-21 5705
介绍： DataGrip 出自JetBrains公司,是一款跨平台的数据库管理客户端工具,可在Windows,OS X 和 Linux上使用;同时支持多种数据库:SQL Server, Oracle, PostgreSQL, MySQL, DB2, Sybase, SQLite, Derby, HyperSQL和H2;方便连接到数据库服务器,执行sql、创建表、创建索引以及导出数据等。 一、准备 1.1下载安装datagrip 官网： 下载 DataGrip：适用于数据库和 SQL 的跨平..
spark-thrift和spark-sql的区别
08-23
- *1* *3* [CDH15.0支持spark-sql和spark-thrift-server](https://blog.csdn.net/u012458821/article/details/87635599)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值