我遇见的大数据异常----启动hive时，namenode处于安全模式。网上好多方法，却不适合我。

最新推荐文章于 2024-01-17 14:17:25 发布
最新推荐文章于 2024-01-17 14:17:25 发布
阅读量761 收藏 1
点赞数
分类专栏： 大数据框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011500419/article/details/106013840
版权

异常信息：Cannot create directory /tmp/hive/root/XX. Name node is in safe mode.

namenode 退出安全模式：bin/hadoop dfsadmin -safemode leave.

 

圣☞摧枯拉朽
关注
专栏目录
大数据-数仓-数据采集-业务数据（二）：全量同步采集【MySQL＜--＞DataX(全量)＜--＞HDFS】【每日全量：每天都将业务数据库中全部数据同步到数据仓库，是保证两侧数据同步的最简单方式】
u013250861的博客
04-09 512
1.种类繁多的数据同步工具中，大致可以分为两大类：① 基于Select查询的离线、批量同步工具，代表：DataXSqoop；② 基于数据库数据变更日志（mysql的binlog）的实时流式同步工具，代表：Maxwell、Canal；2.上述同步工具的全量或增量同步适用如下：同步类型DataXSqoopMaxwellCanal全量同步Ö增量同步ÖÖ3.同步工具之间对增量同步不同方案的对比对比增量同步方案DataXSqoopMaxwellCanal对数据库的要求。
Centos7+Hadoop2.7.7+Hive2.3.0+Hbase2.0.2+spark2.4+zookeeper3.4.10搭建分布式大数据集群
u012893747的博客
12-03 4062
虚拟机准备3台，分别是hadoop01 hadoop02 hadoop03，所装系统为centos7 一、机器基础配置（所有机器） 1.修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01 NETWORKING_IPV6=no PEERNTP=no vim /etc/hostname hadoop01 2.主...
运行hive提示Name node is in safe mode.错误
weixin_34280237的博客
05-23 203
1 Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.2.jar!/hive-log4j.properties 2 Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.i...
启动hive不成功namenode处于安全模式
weixin_42908473的博客
12-12 1044
启动hive出错，namenode is in safe mode. 1.一开始以为是装虚拟机的磁盘满了，所以把没有的东西删了，腾出空间。 2.然后执行hadoop dfsamin -safemode leave 问题解决了! 经验：装虚拟机的磁盘空间要够大100g，不然后续可能出现很多磁盘满的乱七八糟的问题。 ...
Hive启动过程中：名称节点处于安全模式的解决办法
weixin_44943389的博客
04-09 450
我的意思是，真的牛逼。
Hadoop启动时进入安全模式 SafeModeException
xinghaifeng2006的专栏
01-04 267
用这个http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html 解决的问题 。备忘~~   org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in ...
# hive打不开,提示节点过少，进入安全模式~~
weixin_44902108的博客
07-16 1089
hive打不开,提示节点过少，进入安全模式~~ 前段时候给电及除尘，因为经常拆着玩，越熟练越容易大意，一下子把电源排线扯坏了。挼了挼，想凑和着用吧，没想到不知怎么的就会关机，太频繁了。一怒之下取出来剪了！！！ 然后没得玩了。 去某宝买了个6P排线，2.5，邮费8块。安上发现没网，把路由拆了。一拆网就好，安上就残，重复50次后，把盖揭扔了，它就老实了。然后打开hive，困倦的我又来了精神，居然打不开...
Hadoop总结
m0_67403240的博客
07-28 1379
大数据的4V大量化、快速化、多样化、价值密度低。大数据对思维方式的影响颠覆了传统的思维方式——全样而非抽样、效率而非精确、相关而非因果大数据对科学研究的影响实验、理论、计算、数据三次信息化浪潮第一次——1980——个人计算机为标志——解决信息处理——Intel、AMD、IBM第二次——1995——互联网——信息传输——雅虎、谷歌第三次——2010——物联网、云计算和大数据——信息爆炸——亚马逊、美团信息科技为大数据提供的技术存储设备容量增加、成本降低CPU性能提升数据变革阶段注。...
Hive 插入动态分区表时遇到的一些坑
热门推荐
lzw2016的博客
07-30 1万+
Hive 插入动态分区的问题 insert into table xxx partition(xxxx) select ... 使用动态分区时首先不要忘记的一些配置： 是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dyna...
Hive 插入动态分区表调优
weixin_42450619的博客
06-23 634
使用动态分区时首先不要忘记的一些配置：是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dynamic.partitions （默认1000）以及当前节点可创建的最大分区数 hive.exec.max.dynamic.partitions.pernode （默认100）我这里分区表的存储格式是Parquet，insert select方式动
hadoop&Hive安全模式
qq_34874789的博客
10-24 2816
Hive是基于 Hadoop 的一个数据仓库工具，用于做OLAP 分析数据。Hive的数据存储在hadoop的hdfs中。hive 提供了内置的derby存储元数据，不需要单独配置metastore 也不需要单独启动metastore服务，但一般适合单机。但是开发中一般使用远程模式，将元数据存储在外置的RDBMS中。这种模式下metastore服务单独配置，需要手动启动，且全局唯一。Hive Driver驱动程序 是hive的核心，完成从接受HQL到编译成为MR程序的过程。
启动Hive时报hdfs安全模式相关错误以及解决办法
最新发布
Whisperya6的博客
01-17 933
2.1 查看上述日志中的提示信息：Safe mode will be turned off automatically in 5 seconds.2.接着执行健康检查，删除损坏的块（block）：hdfs fsck / -delete。1.首先退出安全模式：hadoop dfsadmin -safemode leave。执行后再次启动hive即会成功，该方法也适用于其他Hadoop生态组件。五秒后再次启动hive，该HDFS安全模式会自动关闭。
Hive基本操作
weixin_44246850的博客
01-05 8267
1、开启hive 1.1 进入 hive/bin [root@hadoop0001 bin]#cd /opt/software/apache-hive-1.2.1-bin/bin/ 1.2执行 hive 命令，开启hive [root@hadoop0001 bin]#hive 1.3若开启正常跳过，若报Cannot create directory /tmp/hive/root/533855bd-351b-4146-9227-10c16868ffd3. Name node is in .
开启hive时出现错误Name node is in safe mode的解决方法
BigData_C的博客
04-25 1176
原因分析：这是因为全模式所造成，安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。 可以通过以下命令来手动关闭安全模式 bin/hadoop dfsadmin -safemode leave //在bin下执行 //若配置环境变量，使用以下命令 hadoop dfsadmin -safemode leave 还可以可以通过dfsadmin -safemode value 来操作安全模式，参数value的
Hive教程（05）- Hive命令汇总
阿甘兄
02-21 5202
文章目录01 引言02 命令汇总2.1 基础命令2.1.1 启动2.1.2 退出2.1.3 数据导入导出2.1.3.1 数据导入2.1.3.2 数据导出2.1.4 HSql文件执行2.1.4.1 控制台执行2.1.4.2 hive shell 执行2.1.4.3 一次使用命令2.1.5 配合nohup使用2.2 DDL命令2.2.1 数据库2.2.1.1 创建数据库2.2.1.2 删除数据库2.2.1.3 修改数据库2.2.1.4 查看数据库2.2.1.5 使用数据库2.2.2 表2.2.2.
Hadoop常用命令
weixin_33835103的博客
08-26 337
1、查看Hadoop HDFS支持的所有命令 hdfs dfs 2、查看指定目录下内容 hdfs dfs –ls [文件目录] eg：hdfs dfs –ls /user/hive 3、循环列出目录、子目录及文件信息 hdfs dfs –lsr [文件目录] eg：hdfs dfs –lsr /user/hive 4、查看某个已存在文件 hdfs dfs –cat [file_p...
HIVE 启动错误 :Name node is in safe mode
理性的浪漫的程序人生
08-08 2722
HIVE 启动错误 :Name node is in safe mode
关于启动hive失败，name node is in safe mode
qq_43250374的博客
10-22 1623
(name node is in safe mode) 进入安全模式，可见启动hive是创建文件失败，此时的name node 在安全模式下只能够查看数据，不能进行操作，之所以会进入安全模式，是因为NameNode的集群中DataNode丢失文件，达到比例（0.01%）时会进入安全模式，文件丢失可能是因为系统断电，内存不足等原因 输入命令hadoop dfsadmin -safemode lea...
hive退出命令_hive搭建（remote一体）
weixin_39593519的博客
12-01 515
1.准备jar包 apache-hive-2.3.4-bin.tar.gz mysql-connector-java-5.1.32-bin.jar2.解压tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /opt/3.改名方便后面配置文件写（在opt目录下）mv apache-hive-2.3.4-bin.tar.gz hive-2.3.44.配置环境变...
Hive-HLL：探索Hive用户定义函数包装器
3. 将生成的 jar 文件添加到 Hive 会话中，路径一般为 `add jar target/hive-hll-0.1-SNAPSHOT.jar;`，这一步是通过 Hive 命令行接口完成的。 4. 接下来，需要创建临时的函数，这些函数是 Hive HLL 包装器提供的具体...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值