hadoop
文章平均质量分 92
草吃兔
DAY DAY UP
展开
-
hadoop杂项
告警信息屏蔽问题:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决:编辑添加/home/jetflow/hadoop/etc/hadoop# vi log4j.propertie...原创 2019-03-28 14:51:10 · 108 阅读 · 0 评论 -
hadoop部署
官网地址:https://hadoop.apache.org/releases.html下载:举例原创 2019-04-08 16:26:31 · 18 阅读 · 0 评论 -
HDFS balance策略
文章目录【前言】大规模Hadoop集群,各个datanode节点磁盘空间使用率经常会出现分布不均衡的情况,其原因在于优先本地化存储,或者节点异常导致的转储备份。如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率。balancer命令详解hdfs --config /hadoop-client/conf balancer-thre...转载 2019-04-08 18:36:26 · 1669 阅读 · 1 评论 -
yarn开启日志聚合
编辑:yarn-site.xml<!-- <property> <name>yarn.log-aggregation.retain-seconds</name> <value>10080</value> <description&...原创 2019-08-26 17:43:35 · 1102 阅读 · 0 评论