linux查看hive端口,Hive连接HDFS端口错误解决方法

在我电脑里面: Hadoop1.2.1中fs.default.name=hdfs://localhost:9000

Hadoop2.2.0中fs.default.name=hdfs://localhost:8020

所以 hdfs://localhost:9000/home/wyp/cloud/hive/warehouse/cite

其中、home/wyp/cloud/hive/warehouse/是配置文件设置的,如下:

hive.metastore.warehouse.dir

/home/wyp/cloud/hive/warehouse

location of default database for the warehouse

cite是表的名称。

如果在Hadoop1.2.1平台导入的数据,而在Hadoop2.2.0平台上面查询数据(注意,需要在Hadoop2.2.0平台上同样的位置上存在数据,这样才能查询到结构)将会出现下面的错误: hive> select * from cite;

OK

Failed with exception java.io.IOException:java.net.ConnectException:

Call From wyp/192.168.142.138 to localhost:9000 failed on connection

exception: java.net.ConnectException: Connection refused;

For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

Time taken: 4.519 seconds

从查询的结果看出,返回的是OK,但是显示数据出现了java.net.ConnectException异常,这就是上面所说的问题,因为你数据的路径为

hdfs://localhost:9000/home/wyp/cloud/hive/warehouse/cite

但是你在Hadoop2.2.0平台上查询,从最上面的配置我们可以看出,Hadoop2.2.0平台的hdfs的连接端口为8020,当然不能连上localhost:9000,我们需要连上8020端口。

解决方法:(1)、修改Hadoop2.2.0的fs.default.name=hdfs://localhost:9000,然后重起Hadoop服务。

(2)、进入Mysql数据库,找到SDS表格:

909d47705c5062ef6c9b467c8a81af10.png

从上面的查询结果我们可以看出,SD_ID为1对应的表格数据存放在hdfs://localhost:9000/home/wyp/cloud/hive/warehouse/cite路径,我需要修改端口号9000为8020。如下:

1edc2a03fd9640d83bd23a8fb8b02b5e.png

然后再查询数据: hive> select * from cite;

OK

121

25

65

36

Time taken: 0.509 seconds, Fetched: 4 row(s)

终于见到熟悉的数据了!推荐使用方法一。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Hadoop是一个由Apache基金会开源的大数据处理框架,包含多个组件,每个组件都有默认的端口号。下面是hadoop各组件的默认端口表: 1. HDFS(Hadoop分布式文件系统): - NameNode端口:50070 - SecondaryNameNode端口:50090 - DataNode端口:50075 2. YARN(Hadoop资源调度系统): - Resource Manager Web界面:8088 - ResourceManager Scheduler端口:8030 - ResourceManager通信端口:8031 - Node Manager通信端口:8040 - Node Manager Web界面:8042 3. HBase(Hadoop数据库): - Master端口:16000 - Master Web界面:16010 - RegionServer端口:16020 - RegionServer Web界面:16030 4. Hive(Hadoop数据仓库工具): - HiveServer2端口:10000 - JDBC服务端口:10001 - Web界面端口:9999 5. Spark(分布式计算框架): - Master Web界面:8080 - Master通信端口:7077 - Worker通信端口:8581 需要注意的是,这些端口都是默认设置,如果其中某些端口已被占用,需要修改配置文件中的端口号,并重启对应的服务。 ### 回答2: Hadoop是一个由Apache基金会开发的,用于分布式存储和处理大数据的开源软件框架。它主要包括HDFS、YARN、HBase、Hive和Spark等组件。这些组件在使用过程中,都会使用到一些默认端口。下面我来逐一介绍这些组件的默认端口表。 1. HDFSHDFS是Hadoop的分布式文件系统,它用于存储海量的数据。它的默认端口是8020和50070。 - 8020:这是HDFS的RPC端口,用于处理与客户端的请求。 - 50070:这是HDFS的Web服务端口,用于向用户展示文件系统的整体状态。 2. YARN: YARN是Hadoop的资源管理系统,可以让用户在一个集群中运行各种应用程序。它的默认端口是8088和8030。 - 8088:这是YARN的Web服务端口,用于向用户展示集群整体的状态。 - 8030:这是YARN的RPC端口,用于处理与客户端的请求。 3. HBase: HBase是非关系型数据库,主要用于存储海量的结构化数据。它的默认端口是2181和16010。 - 2181:这是ZooKeeper服务的默认端口,HBase需要使用ZooKeeper来进行协调和管理。 - 16010:这是HBase的Web服务端口,用于向用户展示集群整体的状态。 4. HiveHive是一种基于Hadoop的数据仓库工具,可以让用户将结构化数据映射到Hadoop上进行分析。它的默认端口是10000。 - 10000:这是Hive的Thrift服务端口,用于与客户端进行交互。 5. Spark: Spark是一种快速而通用的计算引擎,可以支持Hadoop以外的数据处理。它的默认端口是7077和8080。 - 7077:这是Spark的Master的RPC端口,用于管理集群资源。 - 8080:这是Spark的Web服务端口,用于向用户展示集群整体的状态。 以上就是Hadoop(HDFS、YARN、HBase、Hive和Spark等)默认端口表,希望对大家了解Hadoop组件默认端口有所帮助。 ### 回答3: Hadoop是一个分布式计算框架,由HDFS、Yarn、HBase、Hive和Spark等组件构成。每个组件都有不同的功能和默认端口。以下是Hadoop各组件的默认端口表: 1. HDFS HDFS是Hadoop分布式文件系统,用于存储和管理大规模数据集。默认端口是9000。 2. Yarn Yarn是Hadoop的资源管理器,用于分配集群中的资源以及管理作业。默认端口是8088。 3. HBase HBase是一个非关系型数据库,用于存储海量数据并提供实时随机读写操作。默认端口是16010。 4. Hive Hive是一个数据仓库工具,用于处理大规模数据集。默认端口是10000。 5. Spark Spark是一个快速、通用的大数据处理引擎,主要用于数据处理和机器学习。默认端口是7077。 以上是Hadoop各组件的默认端口表,当然也可以根据配置文件进行修改。在使用Hadoop时,需要注意端口的使用和防火墙配置,确保能够正常地访问和使用各组件。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值