flume+kafka+spark实现实时监控用户操作记录

数据源（生产者）

追加以下代码到/etc/profile

export HISTFILESIZE=10000000
export HISTSIZE=1000000
USER_IP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'` 
export HISTTIMEFORMAT="[%F %T][`whoami`][${USER_IP}] "
LOGIP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'`
LOG_DIR=/var/log/history 
if [ -z $LOGIP ] 
then 
LOGIP=`hostname` 
fi 
if [ ! -d $LOG_DIR ] 
then 
mkdir -p $LOG_DIR 
chmod 777 $LOG_DIR 
fi
if [ ! -d $LOG_DIR/${LOGNAME} ] 
then 
mkdir -p $LOG_DIR/${LOGNAME} 
chmod 300 $LOG_DIR/${LOGNAME} 
fi
LOGTM=`date +"%Y%m%d_%H%M%S"` 
export HISTFILE="$LOG_DIR/${LOGNAME}/${LOGIP}-$LOGTM" 
export PROMPT_COMMAND="history -a"
chmod 600 $LOG_DIR/${LOGNAME}/*-* 2>/dev/null 

每次用户登录的操作记录为单个文件，操作痕迹清晰

网上有人说非实时记录，需要用户退出后才会生成记录，本人亲测是实时产生日志文件

 

如果你需要把行为日志写到一个文件中，方便flume实时扫描

export HISTFILESIZE=10000000
export HISTSIZE=1000000

USER_IP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'`   //输出登录用户ip
e