shell 抓取网页解析网页 自动读取poj测试数据——V2生成 pku poj acm编程模版

#!/bin/bash
#################################
#Copyright:free
#Author:wangkai
#Date:2013-10-13
#Description:从poj抓取网页，将网页中的输入数据自动
#保存到题号开头的文件中。网页特点是http://poj.org/problem?id=1001
#1001表示题号
#shell抓取网页，解析内容，允许测试环境ubuntu 12.04
#传入的第一个参数为题号
#################################
send=`date '+%Y-%m-%d %H:%M:%S'`
i=$1; #传入的第一个参数为题号
id=$i;
dir='Dropbox/#acm_linux/poj_code/data/'
dircode='Dropbox/#acm_linux/poj_code/'
if [ ! -d "$dir" ]; then  
    mkdir $dir
fi
touch ${dir}file_html
cppname=${dircode}poj_${id}.cpp

if [ ! -d "$cppname" ]; then
touch $cppname;
echo '/************************************************
#Copyright:free
#Author:wangkai
#Date:2013-10-13
#Description:从poj抓取网页，将网页中的输入数据自动
#FileName:poj_'${id}'.cpp
#Date:'${send}'
************************************************/
int main(){
    freopen("poj_'${id}'.cpp","r",stdin)
    return 1;
}
'>$cppname

fi

#for((i=1010;i<=1020;i++));do
file_loc=${dir}${i};
pre_html='http://poj.org/problem?id=';
html=${pre_html}${id}
wget $html -O ${dir}/file_html
FILE_CONTENT=`cat ${dir}/file_html`
FILE_CONTENT=${FILE_CONTENT#*<p class=\"pst\">Sample Input</p><pre class=\"sio\">} # 去除前缀
FILE_CONTENT=${FILE_CONTENT%%</pre><p class=\"pst\">Sample Output</p><pre class=\"sio\">*} # 去除后缀
echo $FILE_CONTENT >$file_loc
# dos2unix $id # 出现则安装dos2unix使用此命令进行转化
#done

更多关于我的信息请访问http://www.linkedin.com/in/wangkaikai