原生态hadoop下启动hive-1.1.0-cdh5.7.0报错

在原生Hadoop环境下运行Hive-1.1.0-cdh5.7.0时遇到错误,具体表现为NoClassDefFoundError,关联于org/apache/hadoop/mapred/MRVersion类。错误源于Hadoop与CDH组件间的不兼容。解决方案是引入hadoop-core-2.6.0-mr1-cdh5.7.0.jar到HIVE_HOME/lib目录。
摘要由CSDN通过智能技术生成

原生态hadoop下启动hive-1.1.0-cdh5.7.0,hdfs,yarn正常启动,hive报错:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/MRVersion
at org.apache.hadoop.hive.shims.Hadoop23Shims.isMR2(Hadoop23Shims.java:852)
at org.apache.hadoop.hive.shims.Hadoop23Shims.getHadoopConfNames(Hadoop23Shims.java:923)
at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:358)
at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:58)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:642)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:626)
at sun.reflect.NativeMethodAccessorImpl.invoke

### 回答1: apache-hive-1.1.0-bin.tar.gz是一个Apache Hive的二进制发布版本。Apache Hive是一个建立在Apache Hadoop之上的数据仓库基础架构,用于提供数据汇总、查询和分析的功能。 这个二进制发布版本是经过编译的,可以直接在已经安装了Hadoop环境的机器上使用。用户可以通过下载并解压这个tar.gz文件,获得Hive的可执行文件、配置文件和其他必要的库文件。 Apache Hive提供了一种类似于传统关系型数据库的查询语言,称为HiveQL,使得用户可以使用类似SQL的语法来查询和分析存储在Hadoop集群中的数据。HiveQL编译器将用户的查询转换为MapReduce任务,并在Hadoop上执行这些任务。 除了查询语言之外,Hive还提供了数据的存储与管理机制,包括表的创建、数据的导入导出以及分区和桶的管理等功能。这使得用户可以更方便地将结构化数据映射到Hadoop的分布式文件系统中。 Apache Hive主要用于处理大规模的结构化数据,如日志文件、社交网络数据和传感器数据等。它适用于那些需要对海量数据进行汇总、分析和挖掘的应用场景。 通过使用Apache Hive,用户可以充分利用Hadoop的强大分布式计算能力和存储能力,以更高效的方式进行数据处理和分析。它使得普通的开发人员和分析师可以利用Hadoop集群进行复杂的数据操作,而不需要深入了解Hadoop的底层技术细节。 ### 回答2: Apache Hive是建立在Apache Hadoop之上的一个数据仓库基础设施,它提供了一种将结构化数据存储在Hadoop上并进行查询和分析的方式。 "apache-hive-1.1.0-bin.tar.gz"是Apache Hive 1.1.0版本的二进制发布压缩文件。这个文件包含了Hive的二进制可执行文件和相关的库,可以用于安装和运行Hive。 要使用这个文件,首先需要将其下载到本地计算机中。然后,可以使用合适的解压缩工具(如WinRAR或tar命令)对压缩文件进行解压缩。 解压缩后,会得到一个包含Hive二进制文件、配置文件和其他必要文件的目录。通过修改配置文件,可以对Hive进行自定义设置,例如指定Hadoop集群的位置和其他相关参数。 安装完成后,可以使用Hive提供的命令行界面或其他Hive客户端工具连接到Hadoop集群并执行SQL查询。Hive支持类似于传统关系型数据库的SQL查询语言,称为HiveQL。 使用Hive,用户可以通过编写HiveQL查询来处理和分析大规模的结构化数据。Hive提供了对数据的抽象和查询优化,以便将查询转化为适合在Hadoop集群上执行的任务。 简而言之,"apache-hive-1.1.0-bin.tar.gz"是Apache Hive的二进制发布压缩文件,通过安装和配置后,可以使用Hive来进行大规模结构化数据的存储、查询和分析。 ### 回答3: apache-hive-1.1.0-bin.tar.gz 是一个开源的数据仓库工具,用于在Hadoop上进行数据汇总、查询和分析。它是基于Apache Hadoop的一个数据仓库基础设施,为用户提供了一个类SQL的查询语言(HiveQL)来对存储在Hadoop集群中的数据进行查询和分析。 该软件包是以.tar.gz的压缩格式提供的,需要使用相关的解压缩软件将其解压缩。解压缩后会得到一个文件夹,里面包含了Hive的所有相关文件和目录。 Hive提供了一个用于管理和查询大规模分布式数据的平台,并支持海量数据的处理和分析。它基于Hadoop的HDFS存储和MapReduce计算模型,将用户提交的HiveQL语句转换为对Hadoop集群的MapReduce任务。 Hive的主要特点包括: 1. 可扩展性:Hive能够处理大规模的数据,并且能够方便地水平扩展集群规模,以满足不断增长的数据需求。 2. 易于使用:Hive提供了类似SQL的查询语言,使得用户可以更加方便地进行数据查询和分析,而无需编写复杂的MapReduce程序。 3. 多样的数据源:Hive可以处理多种不同的数据源,包括Hadoop HDFS、HBase、Amazon S3等,使得用户可以从不同的数据源中进行数据汇总和分析。 4. 扩展性:Hive提供了丰富的扩展接口,用户可以根据自己的需求编写自定义的函数、聚合操作和存储格式等。 5. 容错性:Hive在处理大规模数据时具备良好的容错性,能够自动处理节点故障或数据丢失等异常情况。 总之,apache-hive-1.1.0-bin.tar.gz是一个功能强大的数据仓库工具,为用户提供了一种简单、灵活和高效的方式来处理和分析大规模数据。它是基于Apache Hadoop的开源项目,广泛应用于各个行业的大数据处理和分析场景中。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值