先建立一个spark/streaming/tmp目录
将下面的脚本保存好后运行。
#!/bin/bash
# 清空旧数据
rm -rf spark/streaming/tmp/* > /dev/null 2>&1rm spark/streaming/* > /dev/null 2>&1
while [ 1 ]; do
#调用python程序,重定向到test.log
./myfirstscript.py > test.log# 给日志文件加上时间戳,避免重名
tmplog="access.`date +'%s'`.log"
#先把test.log放在临时目录,再move到另外的目录,确保原子性??
mv test.log spark/streaming/tmp/$tmplogmv spark/streaming/tmp/$tmplog spark/streaming
sleep 1
done
以上的脚本程序调用的python程序,很简单,就是打印一句话。
# myfirstscript.py
#!/usr/bin/env python3
# -*- coding: utf-8
print(" OMG, welcome to earth, Angel!" )