Hadoop
文章平均质量分 69
Joseph25
这个作者很懒,什么都没留下…
展开
-
Hadoop:yarn资源配置
yarn资源配置原创 2022-06-30 14:37:25 · 1147 阅读 · 0 评论 -
Hadoop:Yarn FairScheduler 的资源预留机制导致的一次宕机事故分析
资源预留造成任务无法提交与任务掉线转载 2022-06-30 13:37:50 · 742 阅读 · 0 评论 -
Hadoop:YARN上显示应用程序使用的vcores、memory不准确?
YARN上显示应用程序使用的vcores、memory不准确?转载 2022-06-09 18:43:28 · 898 阅读 · 0 评论 -
Hadoop:HA 踩坑 - 所有 namenode 都是standby
状况:所有namenode都是standby,但是zookeeper启动正常,即ZK服务未生效,不能高可用切换HA尝试一:手动强制转化某个namenode为active操作:在某台namenode上,执行 hdfs haadmin -transitionToActive --forcemanual nn1 (nn1是你的某台nameservice-id)结果:nn1被成功转为active。但是在stop-dfs.sh后再一次start-dfs.sh后,所有namenode仍然都是stan原创 2022-05-09 15:52:26 · 550 阅读 · 0 评论 -
Hadoop:多租户(一)Capacity Schedular
Hadoop的yarn资源调度器一般分为FIFO,Capacity Scheduler跟Fair Scheduler。但是多租户大多常用两种Capacity Scheduler跟Fair Scheduler两种1,Capacity Scheduler:基于yarn的资源调度,协调不同资源需求的应用程序,比如内存、CPU、磁盘。但是本质还是资源队列,但是在队列内部还是用的FIFO,因此...转载 2020-03-11 19:26:34 · 1121 阅读 · 0 评论 -
Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being avail
错误:java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.2014-05-07 12:21:41,820 WARN [Thread-115] org.apache.hadoop.map...转载 2018-10-30 15:25:15 · 2284 阅读 · 0 评论 -
HDFS集群+HBase+Flume+Sqoop+MySQL+Hive插件的搭建部署
安装linux环境一、防火墙1、关闭防火墙]# service iptables stop2、从开机启动项中关闭防火墙]# chkconfig iptables off3、查看防火墙状态]# service iptables status4、查看防火墙的开机状态]# chkconfig --list | grep iptables//其余两台机器重复上述操作......原创 2018-05-02 17:49:54 · 1323 阅读 · 1 评论 -
Hadoop:jar丢失查找
在运行Hadoop与HBase常出现某些jar包没有添加进工程,导致类找不到,下面对该问题做了一个统计分析,结果如下表所示:报错 相应缺失的包 java.lang.ClassNotFoundException: com.google.common.base.Preconditions; guava-11.0.2.jar java.lang.ClassNotFoundE...原创 2018-06-30 10:34:37 · 724 阅读 · 0 评论 -
Windows数据MySQL迁移到Linux上-----source命令后,数据库里没有表
在前面博客里https://blog.csdn.net/joseph25/article/details/80264403,说到从windows上的MySQL数据库数据迁移到Linux上,会用到source 路径/xx.sql,但是有的时候会有表缺失,并且报 error:1146:Table "unicode.unicode"does't exist折腾好几天,最后才想到Nav...原创 2018-05-15 14:37:28 · 731 阅读 · 0 评论