bjdu_jlxs的专栏

又一次回到了搜索引擎的话题，谈到搜索引擎的应用，大家会想到很多，Google、Yahoo、Baidu、Live Search等等，这些主流的引擎一向以老大自居，而今天我所谈到的搜索引擎并不是这些主流的引擎，而是一些不起眼但确实存在的小搜索引擎，这些引擎往往只专注于某一方面的搜索，我称之为“专项搜索引擎”。今天谈到的这个话题令我想到了武侠小说中的门派，Google、Yahoo、Baidu、Liv

一 wget简介wget是linux上的命令行的下载工具。这是一个GPL许可证下的自由软件。wget支持HTTP和FTP协议，支持代理服务器和断点续传功能，能够自动递归远程主机的目录，找到合乎条件的文件并将其下载到本地硬盘上；如果必要，wget将恰当地转换页面中的超级连接以在本地生成可浏览的镜像。由于没有交互式界面，wget可在后台运行，截获并忽略HANGUP信号，因此在用户推出登录以后，仍可

linux curl命令：利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载，所以是综合传输工具。常用curl实例1，抓取页面内容到一个文件中# curl -o home.html http://www.python520.com2，用-O（大写的），后面的url要具体到某个文件，不然抓不下来。我们还可以用正则来抓取东西# curl -O

抓取A页面，页面跳转至Bwget A结果： ml>这个时候要 wget "B"