hadoop集群
文章平均质量分 73
mushroom1116
这个作者很懒,什么都没留下…
展开
-
hadoop启动后slave的nodemanager一段时间后自动关闭
环境:VMWare12;CentOS7;JDK1.8;hadoop2.4 1台master,1台slave;问题描述:搭建的hadoop集群启动后,slave的nodemanager一段时间后自动消失,进入hadoop/logs查看nodemanager日志,发现错误为:org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net原创 2018-02-27 20:33:17 · 5574 阅读 · 0 评论 -
Amdahl定律
Amdahl定律适用情况: 问题规模不变,也就是计算量不变的情况下适用,问题规模增大的情况考虑Gustafson定律。公式解释 系统加速比=系统性能(改进后)/系统性能(改进前)=总执行时间(改进前)/总执行时间(改进后); fe:改进部分的执行时间在总执行时间中所占的比例。例如,一个原本需要运行60秒的程序中有20秒可以提速,那么fe就是20/60=1/3,这个数可称为并行因子,它总是小于原创 2018-02-27 20:42:44 · 6054 阅读 · 0 评论 -
datanode或者namenode无法启动
问题描述起初问题是datanode无法启动,查看datanode中/home/zkpk/Software/hadoop-2.4.0/logs的datanode日志发现问题是cluster ID不一致导致的。 网上的解决方法有修改datanode的clusterID与namenode的clusterID一致或者直接删除datanode的VERSION两种方法。由于没搞清楚几个VERSION的区别,随原创 2018-02-27 20:50:29 · 2684 阅读 · 1 评论 -
hive启动不成功
问题:进入hive/bin启动hive出现如下错误17/03/05 17:38:03 WARN conf.HiveConf: DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.ur原创 2018-02-27 20:54:54 · 13292 阅读 · 5 评论