抓取纯文本网页

今天第一节课学习了用telnet抓取网页。

这里就用学校的主页为例子抓取：

telnet www.sysu.edu.cn 80

然后键入

GET /2012/cn/index.htm HTTP/1.1（这里就是你要抓取的页面，然后ｈｔｔｐ协议是1.1）

Host: www.sysu.edu.cn 

Connection: close

(然后两次回车，就可以得到以下界面)

这不是完整的界面，因为抓取的文件有点大，可以重定向到文件中去。

直接　telnet www.sysu.edu.cn 80 >>file

//-------------------------------------------------------------------------------------------------------------------------------------//

但是平时我提取网页的时候都是使用的现成的工具：

lynx　-dump www.sysu.edu.cn /2012/cn/index.htm >  sysu.txt

一般情况下，当我们要下载一个网页的时候，多半是下载了一个html格式的纯文本文件，肉眼不容易彻底看懂，需要借助浏览器查看。而lynx就是一个基于命令的ｗｅｂ浏览器，它可以将所有的超连结作为文本输出到references标题之下，不需要我们单独解析了。