shell 抓取网页解析网页 自动读取poj测试数据

shell实现抓取poj网页对内容解析将其中的测试数据放到以题目名称为文件名的文件中

使用方法：

#!/bin/bash
#################################
/*************************************************
Copyright:free
Author:wangkai
Date:2013-10-13
Description:从poj抓取网页，将网页中的输入数据自动
保存到题号开头的文件中。网页特点是http://poj.org/problem?id=1001
1001表示题号
shell抓取网页，解析内容，允许测试环境ubuntu 12.04
**************************************************/
#传入的第一个参数为题号
#################################
dir='data/'
mkdir $dir;
touch ${dir}file_html
#for((i=1010;i<=1020;i++));do
i=$1; #传入的第一个参数为题号
id=$i;
file_loc=${dir}${i};
echo $id
pre_html='http://poj.org/problem?id=';
html=${pre_html}${id}
wget $html -O data/file_html
FILE_CONTENT=`cat data/file_html`
FILE_CONTENT=${FILE_CONTENT#*<p class=\"pst\">Sample Input</p><pre class=\"sio\">} # 去除前缀
FILE_CONTENT=${FILE_CONTENT%%</pre><p class=\"pst\">Sample Output</p><pre class=\"sio\">*} # 去除后缀
# FILE_CONTENT=${FILE_CONTENT//'^M'/$'\n'}
echo $FILE_CONTENT >$file_loc
# dos2unix $id # 出现^M则安装dos2unix使用此命令进行转化
#done

更多关于我的信息请访问