如何处理wget mirror网站后应用程序文件名问题

主题：如何处理wget mirror网站后应用程序文件名问题
      By NetGuard Security Team --Chen Jun (chenjun@netguard.com.cn)
日期：2001.08.02
    众所周知，在windows下的作mirror的程序很多，功能好的也很多。 
    但是在unix如何作mirror呢？好多人并不是很清楚。其实在unix下作mirror的程序也很多，我今天讲讲使用wget来mirror 网站的后，如何转换的问题。
    wget的用法，hehe,相信大家都是很熟悉的吧。在这，还是从网上抄点用法过来吧，出处我忘记了,对于作者,I say sorry。
----------------------------------------------------------------
wget常用参数如下 (以下资讯亦可藉由执行 wget --help获得)：

GNU Wget 1.5.3, 一个非交互式的网路抓档工具.
用法: wget [选项]... [URL]...

命令的引数使用长项目与短项目相同.

启动:
  -V,  --version           显示 Wget 的版本并且离开.
  -h,  --help              显示这个说明档.
  -b,  -background         在启动之後跳到背景去.
  -e,  -execute=COMMAND    执行一个 `.wgetrc' 里面的 COMMAND 指令.

纪录档与输入的档案:
  -o,  --output-file=FILE     纪录讯息到 FILE 去.
  -a,  -append-output=FILE    增加讯息到 FILE 去.
  -d,  --debug                显示除错的输出.
  -q,  --quiet                安静模式 (不输入任何讯息).
  -v,  --verbose              冗长模式 (这是内定值).
  -nv, --non-verbose          关闭 verboseness, 但不是安静模式.
  -i,  --input-file=FILE      从 FILE 读取 URL .
  -F,  --force-html           把输入的档案当作 HTML.

下载:
  -t,  --tries=NUMBER           设定重复尝试 NUMBER 次 (0 是无限制).
  -O   --output-document=FILE   把文件写到 FILE 里.
  -nc, --no-clobber             不破坏已经存在的档案.
  -c,  --continue               重新取得一个已经存在的档案.
       --dot-style=STYLE        设定取回状况的显示风格.
  -N,  --timestamping           不取回比本地旧的档案.
  -S,  --server-response        显示伺服器回应状况.
       --spider                 不下载任何东西.
  -T,  --timeout=SECONDS        设定读取时超过的时间为 SECONDS 秒.
  -w,  --wait=SECONDS           在取回档案时等待 SECONDS 秒.
  -Y,  --proxy=on/off           开启或关闭 Proxy.
  -Q,  --quota=NUMBER           设定取回档案的定额限制为 NUMBER 个.

目录:
  -nd  --no-directories            不建立目录.
  -x,  --force-directories         强制进行目录建立的工作.
  -nH, --no-host-directories       不建立主机的目录.
  -P,  --directory-prefix=PREFIX   把档案存到 PREFIX/...
       --cut-dirs=NUMBER           忽略 NUMBER 个远端的目录元件.

HTTP 选项:
       --http-user=USER       设 http 使用者为 USER.
       --http-passwd=PASS     设 http 使用者的密码为 PASS.
  -C,  --cache=on/off         提供/关闭快取伺服器资料 (正常情况为提供).
       --ignore-length        忽略 `Content-Length' 标头栏位.
       --proxy-user=USER      设 USER 为 Proxy 使用者名称.
       --proxy-passwd=PASS    设 PASS 为 Proxy 密码.
  -s,  --save-headers         储存 HTTP 标头成为档案.
  -U,  --user-agent=AGENT     使用 AGENT 取代 Wget/VERSION 作为识别代号.

FTP 选项:
       --retr-symlinks   取回 FTP 的象徵连结.
  -g,  --glob=on/off     turn file name globbing on ot off.
       --passive-ftp     使用 "passive" 传输模式.

使用递回方式的取回:
  -r,  --recursive             像是吸入 web 的取回 -- 请小心使用!.
  -l,  --level=NUMBER          递回层次的最大值 (0 不限制).
       --delete-after          删除下载完毕的档案.
  -k,  --convert-links         改变没有关连的连结成为有关连.
  -m,  --mirror                开启适合用来映射的选项.
  -nr, --dont-remove-listing   不要移除 `.listing' 档.

递回式作业的允许与拒绝选项:
  -A,  --accept=LIST                允许的扩充项目的列表.
  -R,  --reject=LIST                拒绝的扩充项目的列表.
  -D,  --domains=LIST               允许的网域列表.
       --exclude-domains=LIST       拒绝的网域列表 (使用逗号来分隔).
  -L,  --relative                   只跟随关联连结前进.
       --follow-ftp                 跟随 HTML 文件里面的 FTP 连结.
  -H,  --span-hosts                 当开始递回时便到外面的主机.
  -I,  --include-directories=LIST   允许的目录列表.
  -X,  --exclude-directories=LIST   排除的目录列表.
  -nh, --no-host-lookup             不透过 DNS 查寻主机.
  -np, --no-parent                  不追朔到起源目录.

范例一：mirror一个网站

　wget -r http://www.redhat.com

范例二：mirror一个网站下的某个目录：

　wget -r http://www.redhat.com/apps/download/
----------------------------------------------------------------

    但是在实际中，现在的网站大多数是程序+数据库的模式，不象原来的那种单独的html方式，那样get下来的文件名就是不能直接访问的。(如果没有试过mirror的，估计不知我说的是怎么一回事)
    我们举个以mirror 一个网站的子目录下的例子，来说说吧。此网站是一台Linux的机器，在他们的上面用是jsp+mysql的模式。
一、
先在你的机器上输入
wget -m -r -k -np -b --user-agent='Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)' http://www.mysite.com/solution/
      ^  ^  ^  ^   ^       ^                                                                    ^__欲mirror的网站的url
      |  |  |  |   |       |__访问网站使用的程序的标识（我不想让那个网站知道我用的是wget,要mirror他的站，所以就假冒ie4)
      |  |  |  |   |_____放到后台运行 (我可不想傻等)
      |  |  |  |___ 限制在当前目录下的文件（如果不设，你就死定了)
      |  |  |__转换连接(但是我没有感觉有多大的用)
      |  |__递归抓取        
      |__这个要用呀，是作mirror呀
然后你先出去转转，等时间差不多了，再回来吧
二、wget结束后，你会发现，那些list.jsp?id=什么什么的，都wget了下来，文件名就是list.jsp?id=xxx存放着。
    类似这种:
    -rw-r--r--    1 root     root        30588 Jul 31 18:49 showfom.jsp?i=1525
    wget到没有错，可是在我们的机器上是不能直接访问的，这种文件名在win下也不能使用。unix对它支持，可是在apache或别的web server上不能正常访问。
    如访问 http://192.168.0.1/mirror/www.mysite.com/solution/showfom.jsp?i=1525,我们的web server会认为请求showfom.jsp文件，?后面是参数，所以造成我们不能直接访问。
    说了这么半天，这才说到我要说的，就是我们如何处理这种情况。(唉，悲哀)
三、转换
    经过对测试，发现可以通过把?转换成@后，webserver可以正常访问。
    即http://192.168.0.1/mirror/www.mysite.com/solution/showfom.jsp?i=1525改成http://192.168.0.1/mirror/www.mysite.com/solution/showfom.jsp@i=1525
    明白了这个，我们就可以编写两个脚本来实现。
1.批量改文件名
$cat >/var/tmp/s.sh
#!/bin/sh  
FILES=`ls`  
for i in $FILES ; do  
  j=`echo $i | sed "s/?/@/"`  
  mv $i $j  
done  

2.替换掉文件内容中的提示
$cat >/var/tmp/s1.sh
#!/bin/sh
cat $1 |sed s/.jsp?/.jsp@/ >1.bak
mv 1.bak $1

这两个脚本主要是利用sed的替换功能
sed s/.jsp?/.jsp@/
    |   |     |__欲改成的信息
    |   |__须换掉的信息
    |__发现并替换

如果是cgi?换成cgi@,asp?换成asp@,php?换成php@,具体看情况而变。

#cd /www/mirror/solution/
先把文件名改过来
#/var/tmp/s.sh
mv: `historylist.jsp' and `historylist.jsp' are the same file
mv: `index.html' and `index.html' are the same file

hehe,这就是不用改名的文件，我们通过分析文件，了解通过这两个文件调用才能显示文章

把index.htm或个别文件的内容作过滤
# /var/tmp/s1.sh index.html 
# /var/tmp/s1.sh historylist.jsp 


过滤完后，我们现在输入http://192.168.0.1/mirror/www.mysite.com/solution/,然后看看，是不是出来了,再点links，都正常访问了,Ok.
在此先谢谢eist,e4gle的帮助。
注：此文很乱，可取的就只一点：就是把?替换成@,让web server能正常识别。hehe,大家不要笑我哟。
如有不足，请指教；如有兴趣，快来交流。