hive中调用函数一直处于卡顿状态

    博主遇到过调用函数count等时sql一直卡顿,不调用mr,一直处于job创建的状态,后来经博主多次测试发现,该问题出现在yarn上面。job创建完成后无法调用mapreduce,挨个主机检查,nodemanager正常,但未找到resourcemanager,所以,对该集群进行yarn重...

2018-08-20 10:30:08

阅读数:57

评论数:0

使用cloudera manager进行hadoop安全认证-simple模式

    使用cloudera manger进行hadoop安全认证配置-simple模式

2018-07-11 17:32:52

阅读数:203

评论数:0

Cloudera-Manager修改集群主机的IP

1、业务需求说明:由于公司网络进行了整改,随之而来的就是对应的ip网段发生了变化,其中我的hadoop的集群各主机的ip也相应的发生了改变,因此需要对各主机进行修改ip。2、具体操作:  首先停止cdh各组件的服务,修改各主机的ip。修改完后,本以为完事儿了,启动Cloudera Manageme...

2018-06-20 11:17:28

阅读数:86

评论数:0

使用cloudera manager重启集群后部分节点无法启动问题解决

    博主遇到过使用cloudera manager重启集群后出现多个节点所有功能均无法连接,对该主机功能进行单点启动时并无报错信息,因为查询不到报错信息,就无法针对性的进行修复,所以进行多次测试定位到问题原因:    常见单节点无法启动导致原因为cm连接异常,命令传输超时,并且日志中无报错,此...

2018-05-30 15:27:55

阅读数:411

评论数:0

hadoop常用命令总结

jps:查看进程hadoop dfsadmin -safemode  leave:关闭安全模式,安全模式下只读hadoop dfsadmin -safemode  enter:进入安全模式                            get:  获取安全模式信息             ...

2018-05-22 11:12:20

阅读数:40

评论数:0

hadoop集群重启后hive元数据库无法连接

        对于hadoop生成集群来说,可能一年或者两年多年没有重启过都有可能,所以在这种情况下对集群进行重启就会遇到很多未知的危险。        在做hadoop安全认证...

2018-05-08 18:44:27

阅读数:132

评论数:0

hadoop从节点linux系统崩溃数据恢复实记

        在工作中,虽然遇到linux系统崩溃的几率不高,但是万一遇到了就十分棘手,对于hadoop集群单个节点崩溃来说,一般不会导致数据块的丢失,直接重做系统,换个磁盘,数据也会自动恢复,但是你遇到数据块丢失的情况么?例如:有一个表的数据备份设置为1份,或者很不幸多个主机系统同时崩溃就会导...

2018-05-08 14:53:15

阅读数:142

评论数:0

hadoop集群负载均衡以及配置方法

    一个良好的hadoop集群应该是数据均匀的分布在各个节点上,而不是一个节点磁盘都满了,而另一个磁盘使用率才不到10%,这里简单介绍一下hadoop数据存储的原理以及如何保证数据均匀的分布在各个节点上。    本地数据上传hdfs存储流程:        第一块副本:首先集群会判断该上传主机...

2018-05-07 18:25:56

阅读数:293

评论数:0

hadoop集群重启后数据丢失处理

        一般hadoop集群重启后会立即处于安全模式,主节点检查各个从节点数据正常后会自动解除安全模式,是否丢失数据可使用命令 “hadoop fsck 路径"来进行查看,例如:            hadoop fskc /         查看根目录下所有文件的健康...

2018-05-07 16:58:28

阅读数:441

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭