今天第一节课学习了用telnet抓取网页。
这里就用学校的主页为例子抓取:
telnet www.sysu.edu.cn 80
然后键入
GET /2012/cn/index.htm HTTP/1.1(这里就是你要抓取的页面,然后http协议是1.1)
Host: www.sysu.edu.cn
Connection: close
(然后两次回车,就可以得到以下界面)
这不是完整的界面,因为抓取的文件有点大,可以重定向到文件中去。
直接 telnet www.sysu.edu.cn 80 >>file
//-------------------------------------------------------------------------------------------------------------------------------------//
但是平时我提取网页的时候都是使用的现成的工具:
lynx -dump www.sysu.edu.cn /2012/cn/index.htm > sysu.txt
一般情况下,当我们要下载一个网页的时候,多半是下载了一个html格式的纯文本文件,肉眼不容易彻底看懂,需要借助浏览器查看。而lynx就是一个基于命令的web浏览器,它可以将所有的超连结作为文本输出到references标题之下,不需要我们单独解析了。