Hadoop学习
struggleee_luo
你当温柔,却有力量
展开
-
Flume-ng 多节点集群搭建
Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合,最后存储到一个中心化数据存储系统中,方便进行数据分析。事实上flume也可以收集其他信息,不仅限于日志。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。相比较而言,flume NG更简单更易于管理操作。 Flume OG:Flume ori原创 2015-04-10 13:02:19 · 13930 阅读 · 0 评论 -
自动删除指定时间内的日志和文件shell脚本
直接上代码,注意shell格式很重要:#!/bin/bash#删除5天以前的日志数据 日志位于./logs 文件夹下find ./logs/ -mtime +5 -name "*.log*" -exec rm -rf {} \;#需要保留7天的数据的文件夹名FileDir7=(drama homepage weibo weixin )#需要保留20天的数据的文件夹名FileDi原创 2018-01-18 10:43:18 · 3202 阅读 · 0 评论