Spark2.11下连接星环Inceptor(hive2)连接不上

最新推荐文章于 2022-12-25 22:26:58 发布
最新推荐文章于 2022-12-25 22:26:58 发布
阅读量3.4k 收藏
点赞数
分类专栏： 杂文 文章标签： 星环 hive2 Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013057271/article/details/80298633
版权

问题描述：

spark2.11与星环Inceptor的jar包合并进行开发，连接hive2的时候报错
错误内容
org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null)
解决
  • 删除spark的spark-hive_2.11-2.3.0.jar spark-hive-thriftserver_2.11-2.3.0.jar hive-jdbc-1.2.1.spark2.jar
暴躁骑士豆
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
星环大数据平台 TDH inceptor 问题排查
qq_28694119的博客
11-12 4969
一、四点 1.metastore 2.mysql 3.Inceptor server 4.ldap 二、日志收集 1.Inceptor server & metastore 日志 2.Inceptor server & metastore   jstack/jstat/jmap日志 三、常见问题 1.Inceptor server异常停止 2.Inceptor ful...
Spark-SQL连接JDBC的方式及代码写法
qq_51691017的博客
12-11 923
")：在"csv"、"jdbc"、"json"、"orc"、"parquet"和"textFile"格式下需要传入加载。")：指定保存的数据类型，包括"csv"、"jdbc"、"json"、"orc"、"parquet"和。")：指定加载的数据类型，包括"csv"、"jdbc"、"json"、"orc"、"parquet"和。")：在"csv"、"orc"、"parquet"和"textFile"格式下需要传入保存数据的路径。如果保存不同格式的数据，可以对不同的数据格式进行设定。
20221225 海豚调度2.0.5 星环驱动包踩坑（一）
12-25 1773
星环数据库连接失败 星环相关任务执行失败 java.lang.NoClassDefFoundError: Could not initialize class org.apache.http.conn.ssl.SSLConnectionSocketFactory java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out
DBeaver ce 6.1.1 连接 Apache Hive 连接配置和驱动类选择，解决提示 client_protocol unset 问题
zzsg2005的专栏
06-26 2643
https://github.com/timveil/hive-jdbc-uber-jar 下载适合自己版本的驱动（到底哪个，实在不知道就一个个试） https://dbeaver.io/ 下载工具，免费版即可。 安装，能否正常连接hive关键看连接驱动的配置。 添加自己的访问数据库驱动jar文件； 点击“找到类”，选择“驱动类” com.cloudera.hive,jdb...
Spark连接JDBC
Lloyd-He
09-30 2571
项目之前用cloudera manager配好了spark on yarn集群，要求连接JDBC，markdown一下 既然是要jdbc连接mysql，必然少不了jar包，下载好jar包：mysql-connector-java-5.1.41-bin.jar 位置随大家喜欢，我放到了spark下的lib路径：/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12....
星环hive-8.0.2 java 依赖包全集
10-19
描述中同样提到 "星环hive-8.0.2 java 依赖包全集"，这暗示了这个压缩包可能包含了一系列JAR文件，这些文件是为Java开发者准备的，用于在星环Inceptor环境下构建和运行Hive查询或集成Hive服务。这些依赖包可能包括...
星环-transwarp-inceptor使用手册
06-14
Inceptor是一款用于批量处理及分析的数据库。它支持SQL 2003标准、Oracle PL/SQL以及...目前，Inceptor被广泛地应用于数据仓库和数据集市的构建，在中国，已经有超过500家客户在Inceptor上创建了他们自己的商业应用。
Java连接Hadoop hive数据库jar包合集
01-28
综上所述，这些jar包组合在一起，为Java应用程序提供了连接到Hadoop Hive数据库的能力，通过编写Java代码，可以执行SQL查询，操作Hive中的数据。记得在部署时，将这些库复制到项目的lib目录或配置到类路径中，以便...
星环大数据平台_InceptorSQL使用方法.pdf
01-15
星环InceptorSQL使用方法，基于星环大数据平台的InceptorSQL，了解InceptorSQL的基本功能和使用，内部培训文档
星环CTO孙元浩：技术解析TranswarpInceptor是怎样炼成的
03-03
过1年多的持续创新与改进，星环已经在国内落地了数十个Inceptor的商用项目。这是一篇星环Spark解决方案的技术解析，也是Spark用户可以效仿的优化之道。星环科技从2013年6月开始研发基于Spark的SQL执行引擎，在2013年...
Transwarp Data Hub v4.2 Inceptor使用手册
06-22
星环大数据平台，Transwarp Data Hub v4.2Inceptor使用手册。
星环-transwarp-inceptor-V5.1使用手册
01-07
Transwarp Inceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件，它基于Hadoop和Spark 技术平台打造，加上自主开发的创新功能组件，有效的解决了企业级大数据数据处理和分析的各种技术难 题，帮助...
inceptor-driver4.6
07-29
【标题】"inceptor-driver4.6"是一个与大数据处理相关的软件组件，主要设计用于星环大数据平台。这个版本的驱动程序是针对特定的大数据处理框架——Transwarp Data Hub (TDH) 设计的。在当前的互联网环境中，找到这...
星环TDH平台安装方法.pdf
10-12
星环TDH平台安装方法，掌握 TDH 平台的安装和配置方法，了解 TDH Manager 的使用方法
Transwarp Inceptor白皮书.pdf
05-19
Transwarp Inceptor白皮书.pdf
大数据理论与实践9 分布式数据仓库Inceptor
mxb1234567的博客
12-14 5169
简介 定位： 分布式通用SQL引擎：支持Hyperbase、Search、ArgoDB、StellarDB和Slipstream等核心数据库和计算引擎。 分布式关系型数仓：基于Hive和Spark，主要用于离线分析。 原理 系统架构 InceptorServer connector：为BI、ETL工具提供标准JDBC、ODBC接口。 SQL Compiler包括：SQL语法解析器、规则和代价优化器、代码生成器。 PL/SQL Compiler包括：存储过程解析器、控制流优化器、并行优化器。 Transac
JDBC基础2
Acc222222的博客
11-03 165
JDBC工具类 属性 private static String user; private static String password; private static String url; private static String driver; 初始化 //在static代码块中初始化 static { try { Properties properties = new Properties
waterdrop连接inceptor
wangqiang2280的博客
07-15 2907
1.解压waterdrop压缩包后并运行 2.编辑inceptor驱动 3.编辑inceptor连接 4.申请许可证 进入页面点击申请许可证 输入自己的mac地址提交后可以获取试用期为30天的许可证，获得许可证后下载到本地 5.导入许可证 6.连接成功 ...
星环大数据使用经验总结
热门推荐
luckboy051的博客
09-05 1万+
因为HIVE主要语法是按照mysql习惯，本人用Oracle比较多，所以对一些执行过的操作进行记录总结，以防日后忘记。 一、创建表语句 USE DSDSJ; create table RESOURCEDB_DM_SMBS_YZTJ ( smbs_yztj_dm STRING not null COMMENT '验证途径代码', smbs_yztjmc STRING ...
如何使用星环tdh的inceptor建表
最新发布
06-26
### 回答1： 星环TDH提供了一个名为Inceptor的高性能分布式数据仓库系统，用户可以通过Inceptor进行数据存储、分析和管理。在Inceptor中创建表非常简单，只需按照以下步骤操作即可： 1. 登录Inceptor控制台，进入“Hive视图”模块。 2. 在“Hive视图”模块中，选择用户的所在文件夹或新建文件夹，用于存放创建的表。 3. 在文件夹中选择“新建表”按钮，在弹出的“新建表”页面中，填写表名、列名、数据类型等基本信息。 4. 在“新建表”页面中，在“表存储格式”中选择适合的存储格式（例如Parquet、ORC、RCFile等）。 5. 在“分区列名”中选择表分区的列名，如不需要分区则留空。 6. 在“高级选项”中设置其他高级属性，例如表的存储位置、压缩方式、存储格式等。 7. 点击“提交”按钮，完成表的创建。 总体来说，使用星环TDH的Inceptor进行表的创建非常简单，只需在Inceptor控制台中填写表的基本信息，选择适合的存储格式和高级属性，即可创建出高性能的分布式表格，以满足数据处理需求。同时，在创建表格的过程中，Inceptor还提供了非常丰富的扩展功能，例如多种存储格式、分区管理、高级选项等，可以大大提高数据处理的效率和准确性。 ### 回答2： 星环TDH的Inceptor是一款数据仓库解决方案，它提供了快速构建和查询数据仓库的功能。使用Inceptor建表很容易，以下是建表的步骤： 1.登录Inceptor：在终端中输入inceptor-client命令，然后输入用户名和密码以登录Inceptor。 2.创建数据库：使用create database命令创建数据库。 3.选择数据库：使用use命令选择要在其中创建表的数据库。 4.创建表：使用create table命令创建表。 5.定义列：使用column命令定义表的列，包括列名、数据类型和长度。 6.指定主键：使用primary key命令指定主键。 7.指定存储方式：使用stored as命令指定表的存储方式，如parquet、avro等。 8.添加分区：使用partitioned by命令添加表的分区，如时间、地区等。 9.插入数据：使用insert into命令插入数据到表中。 10.查询表：使用select命令查询表中的数据。 总之，使用Inceptor建表非常简单，只需遵循上述步骤即可。需要注意的是，要根据实际需求来指定表的参数，如数据类型、存储方式等，以保障数据的存储和查询效率。同时，还需要掌握Inceptor的基本查询语法和调优技巧，以提高数据仓库的性能和可扩展性，达到更好的业务目标。 ### 回答3： 星环TDH的Inceptor是一种基于Hadoop的SQL引擎，可以帮助用户高效地处理和管理大数据。在使用Inceptor建表的时候，需要按照以下步骤进行操作。 1. 进入Inceptor命令行界面 在终端中输入以下命令即可进入Inceptor命令行界面： ``` inceptor ``` 2. 创建数据库 如果需要创建一个新的数据库，可以使用以下命令： ``` create database <database_name>; ``` 其中，`<database_name>`为要创建的数据库名称。 3. 切换到所需数据库 使用以下命令可以切换到所需的数据库： ``` use <database_name>; ``` 4. 创建表 在所需的数据库下使用以下命令可创建表： ``` create table <table_name> ( <column_name> <data_type>, ... ) [comment '<comment_text>'] partitioned by (<partition_column_name> <partition_data_type>, ...) [stored as <file_format>]; ``` 其中，`<table_name>`为要创建的表名称，`<column_name>`为表中所需的列名称及其数据类型，`<comment_text>`为表的注释信息，`<partition_column_name>`为分区列名称，`<partition_data_type>`为分区列数据类型，`<file_format>`为所需使用的文件格式。 5. 查看创建的表 在创建表后，可以使用以下命令来查看表结构： ``` desc <table_name>; ``` 其中，`<table_name>`为所需查看的表名称。 以上就是使用星环TDH的Inceptor建表的基本步骤，需要注意的是，在实际操作过程中还需要注意数据类型、分区和文件格式等参数的选择，以满足实际业务需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值