xubc的大数据笔记

Hadoop集群上跑mapreduce，在job任务执行完成退出时报 java.io.IOException: Job status not available异常。Job client请求job状态时，Application Master已经完成转而去Job history server请求job状态，就在这里抛出异常[xubc@master conf]$ hadoop jar /usr/l

HDFS数据清理一些办法：datanode数据做reblance 清理临时目录、日志目录文件 全量分区表历史分区清理 使用lzo，orc格式进行数据压缩 清理或者归档历史冷数据 增加datanode横向扩容附上自动清理目录下过期的文件#!/bin/bashsource ~/.bash_profile# 将待检测的目录(可以为多个)加载至数组中yarn_log_di...

1. 直接删除文件不进入垃圾回收桶    hadoop fs -rm -r -skipTrash   xxxx2. 基于yarn提交的application查看日志和stdout,stderr输出    yarn logs -applicationId application_1479210500211_555588 > spark.log