网络爬虫与cookie简介

1    web爬虫是一种机器人，她们会递归对各种信息性web站点进行遍历，获取第一个web页面，然后获取那个页面指向的所有页面，然后是那些web页面指向的所有页面。以此类推，递归地追踪这些web链接的机器人会沿着HTML超链接创建的网络爬行，所以将其称为爬虫。

 

2    Web站点与robot.txt

      如果一个站点有robot.txt文件，那么在访问这个web站点上的任意URL之前，机器人都必须获取它并且对其进行处理。机器人会使用get方法获取robots.txt资源，如果有，服务器会将其放置一个text/plain主体中返回。如果服务器以404状态码响应，则机器人会认为这个服务器没有机器人访问限制。它可以请求任意文件。

 

3  现代搜索引擎结构都构建了一些名为“全文索引”的复杂本地数据库。装载了全世界的Web搜索页面以及这些页面所包含的内容。这些索引就像Web上所有文档的卡片目录一样。对于网络爬虫自己先了解一下吧。把那本专门介绍爬虫的书看看，然后自己用代码实现一下。要真正去理解网络爬虫的机制并且深入研究下去。这个也是自己比较感兴趣的。

 

2  Cookie

    Cookie是识别当前用户，实现持久会话的最好方式。最初是由网景公司开发的。cookie非常重要，而且定义了一些新的HTTP首部。cookie分为会话cookie与持久的cookie。服务器可以根据这个数字来查服务器为其访问者积累的数据库信息（购物历史，地址信息等）。会话cookie随着浏览器的关闭而结束，永久的cookie无论用户何时返回一个站点，都可以通过持久的cookie来识别其身份，以便跟踪用户的浏览习惯，你来自何处，以及访问过哪些web页面等信息已经存储在web服务器的日子文件中了。关于cookie大致先了解这么多，以后在实际工作中用到在深入研究。