hive将本地文件上传到文件系统出错

最新推荐文章于 2024-05-25 23:02:39 发布
最新推荐文章于 2024-05-25 23:02:39 发布
阅读量1.6k 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_19687693/article/details/48626259
版权

以前什么都好好的，现在真是问题百出啊。。。真是坑


问题来了。。。。网上说了一大堆hadoop问题,真是各种尝试遍了，不能忍啊。。。

老老实实找到日志文件，再次定位问题

hive日志得查找方法，看


默认是在/tmp/root

错误日志：

2015-09-21 22:08:46,148 INFO  [Thread-7]: hdfs.DFSClient (DFSOutputStream.java:createBlockOutputStream(1378)) - Exception in createBlockOutputStream
java.net.NoRouteToHostException: No route to host
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:599)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:529)
at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1516)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1318)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1272)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:525)
2015-09-21 22:08:46,150 INFO  [Thread-7]: hdfs.DFSClient (DFSOutputStream.java:nextBlockOutputStream(1275)) - Abandoning BP-1942161036-127.0.0.1-1422629557699:blk_1073741826_1002
2015-09-21 22:08:46,163 INFO  [Thread-7]: hdfs.DFSClient (DFSOutputStream.java:nextBlockOutputStream(1278)) - Excluding datanode 10.1.65.122:50010
2015-09-21 22:08:46,192 WARN  [Thread-7]: hdfs.DFSClient (DFSOutputStream.java:run(627)) - DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive-root/hive_2015-09-21_22-08-45_011_4031672304169783871-1/-ext-10000/t_hive.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1441)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2702)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:584)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:440)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)


at org.apache.hadoop.ipc.Client.call(Client.java:1410)
at org.apache.hadoop.ipc.Client.call(Client.java:1363)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy18.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:190)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:103)
at com.sun.proxy.$Proxy18.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:361)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1439)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1261)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:525)
2015-09-21 22:08:46,193 ERROR [main]: exec.Task (SessionState.java:printError(545)) - Failed with exception File /tmp/hive-root/hive_2015-09-21_22-08-45_011_4031672304169783871-1/-ext-10000/t_hive.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1441)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2702)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:584)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:440)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)


org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive-root/hive_2015-09-21_22-08-45_011_4031672304169783871-1/-ext-10000/t_hive.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1441)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2702)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:584)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:440)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)


at org.apache.hadoop.ipc.Client.call(Client.java:1410)
at org.apache.hadoop.ipc.Client.call(Client.java:1363)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy18.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:190)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:103)
at com.sun.proxy.$Proxy18.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:361)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1439)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1261)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:525)


2015-09-21 22:08:46,211 ERROR [main]: ql.Driver (SessionState.java:printError(545)) - FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.CopyTask
2015-09-21 22:08:46,211 INFO  [main]: log.PerfLogger (PerfLogger.java:PerfLogEnd(135)) - </PERFLOG method=Driver.execute start=1442844525888 end=1442844526211 duration=323 from=org.apache.hadoop.hive.ql.Driver>
2015-09-21 22:08:46,211 INFO  [main]: log.PerfLogger (PerfLogger.java:PerfLogBegin(108)) - <PERFLOG method=releaseLocks from=org.apache.hadoop.hive.ql.Driver>
2015-09-21 22:08:46,212 INFO  [main]: log.PerfLogger (PerfLogger.java:PerfLogEnd(135)) - </PERFLOG method=releaseLocks start=1442844526211 end=1442844526212 duration=1 from=org.apache.hadoop.hive.ql.Driver>
2015-09-21 22:08:46,242 INFO  [main]: log.PerfLogger (PerfLogger.java:PerfLogBegin(108)) - <PERFLOG method=releaseLocks from=org.apache.hadoop.hive.ql.Driver>
2015-09-21 22:08:46,242 INFO  [main]: log.PerfLogger (PerfLogger.java:PerfLogEnd(135)) - </PERFLOG method=releaseLocks start=1442844526242 end=1442844526242 duration=0 from=org.apache.hadoop.hive.ql.Driver>

再次判断错误是由于防火墙。。。。

查看主节点防火墙。显示关闭，郁闷了。。没有人去开启啊

最后纠结了半天，去看了一下从节点。。发现巨坑。。。不知道谁把这台机器得防火墙给开启了。。。。

泪奔啊！！！


骚年凡事不要怕，看日志吧。。。。。。。。。。。。。。

倒不了的塔
关注
专栏目录
hive sql分区表
lpxuan151009的专栏
08-02 5003
hive sql分区表介绍
将本地文本文件上传到HDFS上，然后导入hive/impala对应表中
www_sg_com的博客
07-07 1万+
1.本地文本文件上传前的准备 将文本保存为"uft-8"格式，并用"|"进行字段间的分割（个人习惯，可以选用其它符号，但要避免和编程语言产生冲突）。 2.将文本文件通过Xshell上传到HDFS上 （1）首先要新建（Alt+N）一个连接，主要填写主机IP，其他根据自己的需要填写。确定之后，打开（Alt+O）刚刚建立的连接，输入用户名和密码，这样就连上了你的服务器了。 （2）新建文件传输（C
hiveserver2报错
leezsj的博客
07-14 363
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hive.common.util.HiveStringUtils.startupShutd ownMessage(Ljava/lang/Class;[Ljava/lang/String;Lorg/apache/commons/logging/Log;)V jar包冲突， 可能是在hive的lib中添加了其他的jar包，导致系统找jar包时...
0 hive 简介,安装,本地文件上传到hive操作
后知后觉的it路
12-12 703
  1 简介：   架构图：         hive和hadoop交互关系图：    上述流程图整理如下： 1、通过用户界面提交SQL 驱动接收SQL 2、驱动将SQL传送给编译器 3、编译器获得SQL 检查语法、匹配资源、去metastore查询 4、metastore返回相应的数据库字段信息 优化SQL、产生执行计划 5、驱动接收执行计划 将执行计...
本地数据如何上传至hive表(收藏)
weixin_38003620的博客
04-15 3699
如题。 我指的本地，是指数据存放在windows系统的磁盘里，那如何把数据进行上传到hive表呢？为了后续的数据分析。 1、数据文件上传linux服务器 先找到一台能登录hive、hdfs的服务器终端，登录上去，切换成hdfs用户： su - hdfs 2、上传文件至hdfs ：rz 上传 3、上传了之后查看下数据格式是否正确： 我这里数据只有两个字段，以逗号为sep，以防索引保留下来，可以这样保留你的csv数据，data.to_csv(’./toufang20220414.csv’,index=None)
hive insert数据后，HDFS目录增加-ext-10000目录处理
sunxunyong的博客
10-29 2219
hive insert数据后，hdfs目录增加了-ext-10000目录 经排查发现执行用户非集群管理用户，使用集群管理用户可以正常。 hdfs 查看目录权限为集群管理用户。怀疑权限问题，不想手动修改hdfs权限，开启ranger 权限管控hive，赋权后正常使用。 ...
本地文件导入hive（beeline）案例(1)
shijie_1230的博客
09-27 1242
本地文件导入hive（beeline）案例(1) 本地创建/export/data/student.txt文件，把数据导入到 hive 的 student(id int, name string)表中。 1．数据准备 （1）在/export/servers/data 这个目录下准备数据 [root@ambari01 /]# mkdir -p /export/data [root@ambari01 /]# cd /export/data （2）在/export/data目录下创建 student.txt 文
Hive本地模式搭建
url_list的博客
03-15 3598
查看本地是否安装了mysql [root@hadoop104 servers]# rpm -qa | grep mysql mysql57-community-release-el7-10.noarch mysql-community-libs-5.7.37-1.el7.x86_64 mysql-community-client-5.7.37-1.el7.x86_64 mysql-community-common-5.7.37-1.el7.x86_64 mysql-community-libs-compat
都2024年了！是谁还不会优化 Hive 的小文件啊！！！速看！
最新发布
JIE的博客 --- moon_coder
05-25 1398
同时，对于 Hive 来说，每个小文件在查询时都会被当作一个块，并启动一个 Map 任务来完成，但这种情况下 Map 任务的启动和初始化时间通常远大于逻辑处理时间，这样就会导致大量的资源浪费，降低程序性能。左右的空间，一旦小文件过多，就会影响 HDFS 的性能，还可能撑爆 NameNode 的内存，造成集群宕机，无法提供服务，这就是为什么要处理小文件的根本原因。命令将小文件合并到本地路径中（操作用户需要有该目录的权限），然后将旧文件删除，上传合并后的文件，完成数据加载。
将csv文件上传到hdfs集群详细步骤
po_rain的博客
07-16 6086
将csv文件上传到hdfs集群详细步骤 xshell连接数据库 将scv文件上传到服务器：rz 回车； 从本地选择需要上传的csv文件，如下图，一起瞅瞅吧！ 将刚刚上传到服务器的文件，放到hdfs集群（hive目录下）：hdfs dfs -put 文件名称 指定路径(需要放到hive目录下) 比如我上传到hive的目录如下：hdfs dfs -put data.csv(文件名称) /user/hive/warehouse/数据库名称/表名称/op_month=202103(表分区)/；
hive上传加载数据
m0_72168501的博客
11-16 2375
hive的加载上传数据和建表的时候直接把数据导入进去
Ext Grid宽高自适应
10-15 1821
 不知是Ext的Bug还是其他原因，当初始化grid并将宽度设为100%时，其宽度会变成10000px宽，高度100%则grid高度根据grid内容自适应，而不是根据其所在容器自适应，一直没有很好的办法，只能使用绝对宽高，但有时这是很不方便的。对此问题一直耿耿于怀，后来终于想出了一个办法，还真的可行，但就是感觉有点蹩脚。一般我们都通过render到指定id的层上来展现grid，虽然不能让grid宽
hive：MoveTask
亚信联创大数据平台Li
02-14 6047
运行SQL时出了个错： SQL： INSERT OVERWRITE DIRECTORY 'result/testConsole' select count(1) from nutable;  错误信息： Failed with exception Unable to rename: hdfs://indigo:8020/tmp/hive-root/hive_2013-08-22_
大数据学习-hive（一：如何上传csv数据到hive表）
weixin_43446246的博客
02-15 2474
一：建表 create table temp.dim_dk_vehicle_info_01 ( ecu_id string ,key_type string ,status string )comment 'tmp中dim层车辆维度信息表' row format delimited fields terminated by ',' collection items terminated by '\n' stored as textfile ; 表存储格式为textfile。
Hive导入数据到分区中，报错及解决方法，Failed with exception MetaException(message:For direct MetaStore DB connections
RUIMENG061511332的博客
03-11 5299
使用hive导入数据到分区中报错如下： Failed with exception MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.) org.apache.hadoop.hive.ql.metadata.HiveException: M...
hive表分区上传数据出现的一个问题及解决思路
lyz13469312003的博客
07-31 886
hive表分区用load上传数据时, 出现了 报错:         Failed with exception MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)org.apache.hadoop.hive.ql.metadata.Hi...
解决:Dynamic partition strict mode requires at least one static partition column. To turn this off set
热门推荐
weixin_38842096的博客
01-08 1万+
在hive表中通过子查询插入数据到分区表时报的错误: FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=n...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值