一次关于 CDH 中 Spark SQL代码操作Hive无法连接Hive元数据问题

最新推荐文章于 2023-02-16 21:17:05 发布
最新推荐文章于 2023-02-16 21:17:05 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： Spark CDH组件 HDFS 文章标签： spark hdfs cloudera
本文链接：https://blog.csdn.net/weixin_38073361/article/details/109353396
版权
Spark 同时被 3 个专栏收录
3 篇文章 1 订阅
订阅专栏
CDH组件
3 篇文章 0 订阅
订阅专栏
HDFS
3 篇文章 0 订阅
订阅专栏

如题，最近想用 Spark SQL 操作数据 写入 Hive ，本地测试逻辑OK，发布线上发现连接不上Hive元数据，各种修改，头痛。终于发现问题，记录一下方便后来人。

关于版本：
CDH --> 5.16.1
Hive -->1.1.0
Spark --> 2.3.0
Scala --> 2.11.6
版本不对应也可以参考，毕竟问题出现的，和版本关系不太大～

废话不多，首先是具体报错信息

情况如下:

Spark 打包运行过程中，并无明显报错，但是有一个现象就是运行状态由 “接受” 转换为 “RUNNING”，然后很快就返回为 “接受”，并不报错，直到在cdh控制台的yarn运行程序中看到，状态是 “待定”，手动kill之后，hdfs中查看日志显示如下

hdfs日志路径在：/tmp/logs/USER_NAME/logs/APPLICATION_ID/
如我的在：/tmp/logs/hadoop/logs/application_1602576062178_0049/

 // 主要错误日志
org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;

// 部分日志，比较全 不想看可直接跳过
20/10/28 23:40:00 INFO metastore.HiveMetaStore: 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
20/10/28 23:40:00 ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: U
nable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;
org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStore
Client;
        at org.apache.spark.sql.hive.HiveExternalCatalog.withClient(HiveExternalCatalog.scala:108)
        at org.apache.spark.sql.hive.HiveExternalCatalog.databaseExists(HiveExternalCatalog.scala:196)
        at org.apache.spark.sql.internal.SharedState.externalCatalog$lzycompute(SharedState.scala:114)
        at org.apache.spark.sql.internal.SharedState.externalCatalog(SharedState.scala:102)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder.externalCatalog(HiveSessionStateBuilder.scala:39)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder.catalog$lzycompute(HiveSessionStateBuilder.scala:54)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder.catalog(HiveSessionStateBuilder.scala:52)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder$$anon$1.<init>(HiveSessionStateBuilder.scala:69)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder.analyzer(HiveSessionStateBuilder.scala:69)
        at org.apache.spark.sql.internal.BaseSessionStateBuilder$$anonfun$build$2.apply(BaseSessionStateBuilder.scala:293)
        at org.apache.spark.sql.internal.BaseSessionStateBuilder$$anonfun$build$2.apply(BaseSessionStateBuilder.scala:293)
        at org.apache.spark.sql.internal.SessionState.analyzer$lzycompute(SessionState.scala:79)
        at org.apache.spark.sql.internal.SessionState.analyzer(SessionState.scala:79)
        at org.apache.spark.sql.execution.QueryExecution.analyzed$lzycompute(QueryExecution.scala:57)
        at org.apache.spark.sql.execution.QueryExecution.analyzed(QueryExecution.scala:55)
        at org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(QueryExecution.scala:47)
        at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:74)
        at org.apache.spark.sql.SparkSession.baseRelationToDataFrame(SparkSession.scala:431)
        at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:233)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:227)
        at org.apache.spark.sql.DataFrameReader.text(DataFrameReader.scala:693)
        at org.apache.spark.sql.DataFrameReader.textFile(DataFrameReader.scala:732)
        at org.apache.spark.sql.DataFrameReader.textFile(DataFrameReader.scala:702)
        at com.ikongji.hive.code.saveData2Hive$.main(saveData2Hive.scala:43)
        at com.ikongji.hive.code.saveData2Hive.main(saveData2Hive.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:688)
Caused by: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
        at org.apache.spark.sql.hive.client.HiveClientImpl.newState(HiveClientImpl.scala:180)
        at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:114)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:264)
        at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:380)
        at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:282)
        at org.apache.spark.sql.hive.HiveExternalCatalog.client$lzycompute(HiveExternalCatalog.scala:68)
        at org.apache.spark.sql.hive.HiveExternalCatalog.client(HiveExternalCatalog.scala:67)
        at org.apache.spark.sql.hive.HiveExternalCatalog$$anonfun$databaseExists$1.apply$mcZ$sp(HiveExternalCatalog.scala:197)
        at org.apache.spark.sql.hive.HiveExternalCatalog$$anonfun$databaseExists$1.apply(HiveExternalCatalog.scala:197)
        at org.apache.spark.sql.hive.HiveExternalCatalog$$anonfun$databaseExists$1.apply(HiveExternalCatalog.scala:197)
        at org.apache.spark.sql.hive.HiveExternalCatalog.withClient(HiveExternalCatalog.scala:99)
        ... 29 more
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
        at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1523)
        at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86)
        at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132)
        at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104)
        at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3005)
        at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3024)
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503)
        ... 44 more
Caused by: java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1521)
        ... 50 more
Caused by: java.lang.RuntimeException: Error getting metastore password: null
        at org.apache.hadoop.hive.metastore.ObjectStore.getDataSourceProps(ObjectStore.java:350)
        at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:239)
        at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)
        at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
        at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:57)
        at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:66)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:593)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:571)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:620)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:461)
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:66)
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:72)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5762)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:199)
        at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.<init>(SessionHiveMetaStoreClient.java:74)
        ... 55 more
Caused by: java.io.IOException
        at org.apache.hadoop.hive.shims.Hadoop23Shims.getPassword(Hadoop23Shims.java:1023)
        at org.apache.hadoop.hive.metastore.ObjectStore.getDataSourceProps(ObjectStore.java:344)
        ... 69 more
Caused by: java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.hive.shims.Hadoop23Shims.getPassword(Hadoop23Shims.java:1017)
        ... 70 more
Caused by: java.io.IOException: Configuration problem with provider path.
        at org.apache.hadoop.conf.Configuration.getPasswordFromCredentialProviders(Configuration.java:2118)
        at org.apache.hadoop.conf.Configuration.getPassword(Configuration.java:2037)
        ... 75 more
Caused by: java.io.IOException: Bad configuration of hadoop.security.credential.provider.path at localjceks://file/{{CMF_CONF_DIR}}/creds.localjceks
        at org.apache.hadoop.security.alias.CredentialProviderFactory.getProviders(CredentialProviderFactory.java:86)
        at org.apache.hadoop.conf.Configuration.getPasswordFromCredentialProviders(Configuration.java:2098)
        ... 76 more
Caused by: java.net.URISyntaxException: Illegal character in path at index 18: localjceks://file/{{CMF_CONF_DIR}}/creds.localjceks
        at java.net.URI$Parser.fail(URI.java:2848)
        at java.net.URI$Parser.checkChars(URI.java:3021)
        at java.net.URI$Parser.parseHierarchical(URI.java:3105)
        at java.net.URI$Parser.parse(URI.java:3053)
        at java.net.URI.<init>(URI.java:588)
        at org.apache.hadoop.security.alias.CredentialProviderFactory.getProviders(CredentialProviderFactory.java:67)
        ... 77 more
20/10/28 23:40:00 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 15, (reason: User class threw exception: org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;
        at org.apache.spark.sql.hive.HiveExternalCatalog.withClient(HiveExternalCatalog.scala:108)
        at org.apache.spark.sql.hive.HiveExternalCatalog.databaseExists(HiveExternalCatalog.scala:196)
        at org.apache.spark.sql.internal.SharedState.externalCatalog$lzycompute(SharedState.scala:114)
        at org.apache.spark.sql.internal.SharedState.externalCatalog(SharedState.scala:102)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder.externalCatalog(HiveSessionStateBuilder.scala:39)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder.catalog$lzycompute(HiveSessionStateBuilder.scala:54)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder.catalog(HiveSessionStateBuilder.scala:52)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder$$anon$1.<init>(HiveSessionStateBuilder.scala:69)
        at org.apache.spark.sql.hive.HiveSessionStateBuilder.analyzer(HiveSessionStateBuilder.scala:69)
        at org.apache.spark.sql.internal.BaseSessionStateBuilder$$anonfun$build$2.apply(BaseSessionStateBuilder.scala:293)
        at org.apache.spark.sql.internal.BaseSessionStateBuilder$$anonfun$build$2.apply(BaseSessionStateBuilder.scala:293)
        at org.apache.spark.sql.internal.SessionState.analyzer$lzycompute(SessionState.scala:79)
        at org.apache.spark.sql.internal.SessionState.analyzer(SessionState.scala:79)
        at org.apache.spark.sql.execution.QueryExecution.analyzed$lzycompute(QueryExecution.scala:57)
        at org.apache.spark.sql.execution.QueryExecution.analyzed(QueryExecution.scala:55)
        at org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(QueryExecution.scala:47)
        at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:74)
        at org.apache.spark.sql.SparkSession.baseRelationToDataFrame(SparkSession.scala:431)
        at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:233)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:227)
        at org.apache.spark.sql.DataFrameReader.text(DataFrameReader.scala:693)
        at org.apache.spark.sql.DataFrameReader.textFile(DataFrameReader.scala:732)
        at org.apache.spark.sql.DataFrameReader.textFile(DataFrameReader.scala:702)
        at com.ikongji.hive.code.saveData2Hive$.main(saveData2Hive.scala:43)
        at com.ikongji.hive.code.saveData2Hive.main(saveData2Hive.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:688)
解决问题之路
  1. 网上参考了很多资料，也是有帮助的，大致我明白是spark 连接不上hive，有很多人推荐将hive-site.xm 文件放在代码的resource中，我发现和别人的hive配置文件不太一样，当时没怎么注意，因为我也是线上copy下来的，这里是发现问题的地方。
  2. 直到今天上午到公司，去看CDH界面，想起来，Spark是后来组装的，去spark界面看，Spark界面的Hive没有关联，所以Spark连不到Hive上。
  3. 解决问题就在这里！关联上，重新布置客户端，再运行代码，RUNNING ！！！ OK！（这里重新布置完客户端的时候，在copy一份hive-site.xml，仔细对比 这里的hive-site.xml 已经和之前的不一样里。）
  4. 当然，为了保证不是hive-site.xml的影响，所有我把新的放在里maven项目的resource目录下，个人猜想，目前是不用的，因为CDH上的Spakr已经关联Hive了！
扩展

在这里说一下其他的问题，有的不是CDH集群的，或者个人集群测试过程的问题，最好是把hive-site.xml配置上，我这里提供一下我们CDH集群的配置文件，可以参考（不是CDH的可能差别比较大，不一定能帮到你）hive-site.xml

吓人一跳
关注
专栏目录
CDH-5.14.2添加Hive
猫不夜行的博客
01-03 1356
1. 分发mysql-connector 添加mysql-connector-java.jar包到hive的lib目录下，并分发到每一个节点中（集群分发脚本） [root@node01 ~]# cp /opt/software/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/li...
spark连接不了本地hive_SparkSQL数据源之Hive数据库
weixin_30590615的博客
01-25 765
Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引入Hi...
spark-sql客户端连接不上hive
小五的博客
02-16 284
参考：https://blog.csdn.net/m0_73734232/article/details/128273959。复制hive配置文件以及存储元数据的mysql jar包即可。原因缺少hive配置文件。
spark sql 通过代码连接hive
qq_34135615的博客
03-04 1610
spark sql代码方式连接hive
cdh5.13 spark连接hive数据源
weixin_37796929的博客
05-20 1859
修改hive-site.xml 添加 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master01:3306/hive?createDatabaseIfNotExist=true</value> <...
一次关于 cdh 中 spark sql代码操作hive无法连接hive元数据问题
03-16
您好，关于 CDH 中 Spark SQL 代码操作 Hive 无法连接 Hive 元数据的问题，可能是由于以下原因导致的： 1. Hive 元数据服务未启动或者未正常运行。 2. Spark SQL 配置文件中的 Hive 元数据连接信息不正确。 3. ...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统中的大规模数据集。然而，默认情况下，Hive使用MapReduce作为执行引擎...
CDH6.3.1发行版，idea本地调试spark连接hive仓库demo
FengYeHanQiu的博客
02-25 1592
最近接手个CDH6.3.1版本的大数据集群，以前我搭建的都是apache原生Hadoop集群，通过编辑器调试sparkSQL读取hive很容易。现在遇到CDH整合后的集群还是有点不习惯，找到cdh环境中的hive-site.xml里面配置基本没用。网上找了许多感觉没有正解，我按照原生apache的hive-site.xml配置更改了下，可以实现本地idea调试启动spark程序读取hive表。 项目结构 hive-site.xml配置 <?xml version="1.0"?> &l
cdh6.3.2升级hive至3.x后登陆HiveServer2连接失败.doc
最新发布
03-01
### CDH 6.3.2 升级 Hive 至 3.x 后登录 HiveServer2 连接失败问题分析及解决方法 #### 一、问题背景与现象 在将 Cloudera Data Hub (CDH) 6.3.2 版本中的 Hive 升级到 3.x 版本后，用户在尝试通过 JDBC 连接到 ...
Spark 2.4.0 cdh6.3.2连接 Hive 2.1.1 cdh6.3.2
SuCicada 小米的蝉
01-06 1115
以下maven配置能正确读取hive. 不该加的不要加. spark版本用cdh的. <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <spark.version>2.4.0-cdh6.3.2</spark.ve
CDH测试Spark与Hive的连接不正常
weixin_43214808的博客
05-22 488
测试Spark与hive的连通性代码 from pyspark.sql import SparkSession spark = SparkSession.builder.appName("spark sql hive query").enableHiveSupport().getOrCreate() spark.sql("show databases").show() PYSPARK_PYTHON=/home/bbders/anaconda3/bin/python3.6 /usr/bin/spark2-s
spark-shell引用不了hive数据表的问题 sqlContext hiveContext
wdd668的专栏
03-03 1738
从上面两篇开始 一直进入一个错误中 关于 jack包引用的问题cdh下载文件安装的环境 centos 7.0hadoop-2.6.0-cdh5.7.0hive-1.1.0-cdh5.7.0scala-2.11.0spark-1.6.0-cdh5.7.0从hadoop伪分布试安装  mysql hive scala的安装都没问题直到spark安装 启动spark-shell --master yar...
解决HUE使用sparksql查询无法显示元数据的问题
Tom_yj的博客
02-09 762
解决HUE使用sparksql查询无法显示元数据的问题 解决方法： 1、首先你的hive肯定要能用，我们就是将spark的元数据查询请求转换为hive的元数据请求 2、操作步骤： cd /opt/cloudera/parcels/CDH/lib/hue/build/static/desktop/js vi apiHelper.js ApiHelper.prototype.fetchSourceMetadata = function (options) { var self = this; v
大数据CDH-hive组件报错
weixin_43214808的博客
05-22 583
项目描述 安装好CDH的hive组件之后，Hive Metastore Server组件无法正常启动，输出日志显示：元数据不完整，导致组件无法正常启动，hive元数据库启动存在报错，无法正常创建数据库。 处理元数据缺失解决思路： 1、在hive组件中找到配置—类别—Hive Metastore Server数据库 确认数据库连接的用户，密码连接是否正确。 2、mysql -h 域名 -u admin -p 用域名的方式检验是否能够正常连接数据库，防止是由于客户端无法连接造成的错误 3、检查 Hive
spark sql 访问Hive数据表
cl2010abc的专栏
12-04 5593
https://blog.csdn.net/worldchinalee/article/details/80182226 https://blog.csdn.net/agent_x/article/details/79952229
spark sql整合hive-重要
weixin_48370579的博客
07-17 901
spark sql整合hive 在spark sql中使用hive的元数据 spark sql是使用spark进行计算的，hive使用MR进行计算的 1、在hive的hive-site.xml修改一行配置，增加了这一行配置之后，以后在使用hive之前都需要先启动元数据服务 cd /usr/local/soft/hive-1.2.1/conf/ <property> <nam...
Hadoop实战（8）_CDH添加Hive服务及Hive基础
分享数据科学家的自我修养
11-14 5205
CDH Hadoop系列目录：Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战（4）_Hadoop的集群管理和资源分配Hadoop实战（5）_Hadoop的运维经验Hive体系结构Hive有2个服务端守护进程：Hiveserver2：支撑JDBC访问，Thrift服务。MetaStore Server：支撑访问元数据库的服务。Hive内核结构Complier：编译器，编译hql语
spark sql读取hive底层_SparkSQL读取hive数据本地idea运行的方法详解
weixin_39785422的博客
12-20 285
环境准备：hadoop版本：2.6.5spark版本：2.3.0hive版本：1.2.2master主机：192.168.100.201slave1主机：192.168.100.201pom.xml依赖如下：xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org...
配置kettle连接CDH集群的HiveServer
小陌成长之路
03-23 2665
配置kettle连接CDH集群的HiveServer
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值