用Shell脚本实现自动从NewSmth.net的MyPhoto版下载照片

原创 2012年03月22日 17:38:09
写了一个脚本,用于自动从水木社区(Newsmth.net)的MyPhoto版自动下载图片到本地。
运行该脚本后,将自动从水木社区的MyPhoto版自动下载最近N(默认为3,通过参数1指定)天内的所有图片到本地的photo目录下。
用法:
1、把以下代码保存为autoPicSmth.sh
2、为脚本增加可执行权限,并运行脚本。
CHEYO:~/auto # chmod +x autoPicSmth.sh
CHEYO:~/auto # ./autoPicSmth.sh
脚本写得比较粗糙,欢迎优化改进。
源码:
#!/bin/bash

#####################################################################
#       Script:  autoPicSmth.sh
#       Author:  cheyo
#        Email:  icheyo at Gmail dot com
#         From:  www.icheyo.net
#         Date:  2008-02-22
#
#  Description:
#      This script is used for downloading pictures from the MyPhoto 
#      board in the newsmth.net automatically.
#
#####################################################################

# Usage: autoPicSmth.sh [days] 
# days:  download all pictures of recent /days/ days
# For Example:   ./autoPicSmth.sh 3


WORKING_DIR
=working
PIC_OUT_DIR
=photo
DAYS_TO_DOWN
=3
QUERY_FILE
=QueryResult.tmp
THREAD_FILE
=ThreadUrl.tmp
FORMAT_FILE
=ThreadInfo.tmp
CURR_THREAD_FILE
=CurrThread.tmp 
PIC_URL_FILE
=PicUrl.tmp
PIC_DOWN_LOG
=PicDown.log
PIC_INFO_FILE1
=PicInfo1.tmp
PIC_INFO_FILE2
=PicInfo2.tmp
PIC_INFO_FILE3
=PicInfoFinal.tmp

# ------------------------------------------------------------------ #
# ShowUsage()
# Show the usage of this script
# ------------------------------------------------------------------ #

ShowUsage()
{
    echo 
"This script is used for automatic downloading pictures from MyPhoto board in the newsmth.net"
    echo 
"  Usage: autoPicSmth.sh [days]"
    echo 
"  days:  download all pictures of recent /days/ days. 3 for default."
    echo 
"  Example:   ./autoPicSmth.sh 3"
}

# check arguments
if [ $# -gt 1 ]; then
    ShowUsage
    
exit 1;
elif [ $
# -eq 1 ]; then
    DAYS_TO_DOWN=$1
fi

mkdir -$WORKING_DIR 
cd 
$WORKING_DIR

# Get the thread search result HTML page to local
SearchUrl="http://bbs4.newsmth.net/bbsbfind.php?q=1&board=MyPhoto&dt=${DAYS_TO_DOWN}&ag=1"
curl 
"${SearchUrl}" -o ${QUERY_FILE}

# Create a file to store all Thread URLs
egrep "<a href="bbscon.php?bid=" $QUERY_FILE | awk -F[<>"] '{print "http://bbs4.newsmth.net/"$9}' > $THREAD_FILE
ThreadCount=`cat $THREAD_FILE | wc -l`
echo 
"Total ${ThreadCount} threads are found."

# Create a file to store all BoardId and ThreadId
awk -F[=&] '{print $2,$4}' $THREAD_FILE > $FORMAT_FILE 

# Create a file to sotre all pictures infomation
# Format: BoardId ArticleId FileName FileSize FileId
echo 
"# BoardId ArticleId FileName FileSize FileId" > $PIC_INFO_FILE1

cat 
$FORMAT_FILE | while read BoardId ArticleId
do
    ThreadUrl
=`echo "http://bbs4.newsmth.net/bbscon.php?bid=$BoardId&id=$ArticleId"`
    curl 
"$ThreadUrl" -$CURR_THREAD_FILE
    
grep "attach" $CURR_THREAD_FILE | tr ");" "" | grep "attach" | awk -F[' ,)] -v BoardId=$BoardId -v ArticleId=$ArticleId '{print BoardId,ArticleId,$2,$5,$7}' >> $PIC_INFO_FILE1
done

# Create a file to store all pictures info with file extention name 
# but not full file name.
# Format:  BoardId ArticleId FileExt FileSize FileId
# echo "# BoardId ArticleId FileExt FileSize FileId" > $PIC_INFO_FILE2
awk -F[. ]  
'$0~/^[^#]/ {print $1,$2,$4,$5,$6}' $PIC_INFO_FILE1 >> $PIC_INFO_FILE2
# Remove the records which don't contain enough info.
# in normal case, it should be 5 columns in the file.

awk '$5~/^[^$]/ {print $0}' $PIC_INFO_FILE2 > $PIC_INFO_FILE3 

# Create a file to store all picture url
grep ^[^#] $PIC_INFO_FILE3 | while read BoardId ArticleId FileExt FileSize FileId
do
    
if [ $FileSize -gt 51200 ]; then
        FileType
="p"
    
else
        FileType
="s"
    fi

    PicUrl
=`echo "http://att.newsmth.net/att.php?$FileType.$BoardId.$ArticleId.$FileId.$FileExt"`
    echo 
"$PicUrl" >> $PIC_URL_FILE 
done

# Remove all duplicted URL from the file
mv ${PIC_URL_FILE} ${PIC_URL_FILE}.tmp
sort -dfu ${PIC_URL_FILE}.tmp > ${PIC_URL_FILE}
rm ${PIC_URL_FILE}
.tmp

# Remove the URLs which have been downed before
if [ -"../${PIC_OUT_DIR}/${PIC_DOWN_LOG}" ]; then
    cp 
../$PIC_OUT_DIR/${PIC_DOWN_LOG} .
    awk 
'{print $3}' ${PIC_DOWN_LOG} > ${PIC_URL_FILE}.history
    
sort -dfu ${PIC_URL_FILE}.history > ${PIC_URL_FILE}.tmp
    mv ${PIC_URL_FILE}
.tmp ${PIC_URL_FILE}.history
    comm 
-1 -3 ${PIC_URL_FILE}.history ${PIC_URL_FILE} > ${PIC_URL_FILE}.tmp
    mv ${PIC_URL_FILE}
.tmp ${PIC_URL_FILE}
    rm ${PIC_URL_FILE}
.history
fi

# Download all pictures from server to local 
PicCount=`wc -$PIC_URL_FILE | awk '{print $1}'`
PicIndex
=1
mkdir -../$PIC_OUT_DIR 
echo 
"Total number of pictures to be downloaded: $PicCount"

cat 
$PIC_URL_FILE | while read CurrUrl
do
    FileName
=`echo "$CurrUrl" | awk -F[?'{print $2}'`
    echo 
"[$PicIndex/$PicCount] Start to download $CurrUrl"
    curl 
"$CurrUrl" -../$PIC_OUT_DIR/$FileName
    
# Write download log to log file
    CurrTime=`date +"%Y-%m-%d %H:%M:%S"`
    echo 
"$CurrTime $CurrUrl" >> "../$PIC_OUT_DIR/$PIC_DOWN_LOG"
    echo 
"[$PicIndex/$PicCount] Download finished."
    echo 
""
    PicIndex
=`expr $PicIndex + 1`
done

#mv $PIC_URL_FILE ../$PIC_OUT_DIR/PicUrl.list
#mv $PIC_INFO_FILE3 ../$PIC_OUT_DIR/PicInfo.list

cd ..
rm 
-$WORKING_DIR

echo 
"All Pictures Downloading finished."
http://write.blog.csdn.net/postedit

版权声明:本文为博主原创文章,未经博主允许不得转载。

shell调用sftp实现自动批量上传or下载

最近项目需要自动FTP批量上传文件或下载文件。最快的完成方式就是在shell里调用相关的命点击打开链接令,并用crontab调用shell脚本实现周期性FTP批理处理。 当前流行的FTP分为 ft...
  • djd1234567
  • djd1234567
  • 2016年04月29日 11:47
  • 3552

ftp自动上传下载文件(Shell脚本)及ftp命令详解

(1) #!/bin/bash ftp -n open 10.0.129.170 user sfhc sfhc1234 binary cd /data/localacc lcd /dat...
  • near008
  • near008
  • 2014年04月18日 09:45
  • 10105

Shell系列 - Mac OS X自动下载切换桌面壁纸

背景   本人一直非常喜欢Bing(必应)的壁纸,之前写过Java程序在Windows系统中自动下载并切换桌面壁纸。现在尝试在Mac OS X下实现,心想既然有shell这么好用的脚本语音,何乐不为...
  • rywaqpf
  • rywaqpf
  • 2015年12月25日 17:47
  • 1301

Linux shell脚本编写基础 转自:http://blog.csdn.net/fpmystar/article/details/4183678

转自:http://blog.csdn.net/fpmystar/article/details/4183678 在进行linux测试时编写脚本是必不可少的,Shell脚本的名称可以随便定义...
  • jubincn
  • jubincn
  • 2012年02月16日 14:10
  • 881

CentOS6.7下使用非root用户(普通用户)编译安装与配置mysql数据库并使用shell脚本方式实现数据库随机自动启动

  • 2016年08月17日 09:53
  • 806KB
  • 下载

ftp自动下载shell脚本

  • 2009年12月19日 09:58
  • 451B
  • 下载

自动下载并保存GFS数据的Shell脚本

  • 2017年07月05日 10:46
  • 1KB
  • 下载

Linux使用Shell脚本实现ftp的自动上传下载

1. ftp自动登录批量下载文件。 #####从ftp服务器上的/home/data 到 本地的/home/databackup#### #!/bin/bash ftp -n open 1...
  • jsh13417
  • jsh13417
  • 2013年02月20日 16:58
  • 2857

开机自动启动tomcat的shell脚本

  • 2018年01月05日 10:44
  • 31KB
  • 下载

db2自动备份shell脚本

  • 2014年04月03日 18:00
  • 12KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:用Shell脚本实现自动从NewSmth.net的MyPhoto版下载照片
举报原因:
原因补充:

(最多只允许输入30个字)