python爬虫：不需要登录静态网页抓取

简单爬虫架构

URL 管理器：管理待爬取URL集合和已抓取URL集合（防止重复抓取、防止循环抓取）

需要支持：1.添加新URL到待爬取集合中    2. 判断待添加URL是否在容器中  3.从url管理器中获取待爬取URL

4.判断URL管理器中是否还有待爬取的URL  5.将URL从待爬取集合中移动到已爬取集合

实现方式：1.将待爬取的URL集合和已爬取的URL集合存储在内存中    使用set（）[为了去重]

2.关系数据库MySQL： 用一个表存储两个集合（待，已） urls（url， is_crawled）

3.缓存数据库redis  ：set 

网页下载器：从互联网将一个url对应的互联网以HTML形式存储为一个本地文件或本地字符串

1.python对应下载器：urllib2,requests

urllib2:response = urllib2.urlopen("url")

print response.getcode()#获取状态码，如果是200则是成功

cont = response.read（）#读取内容

2.urllib2 下载网页的方法：添加data 、http header

3.添加特殊情景的处理器

HTTPCookieProcessor （用户登录）     ProxyHandler（需要代理）      HTTPSHandler（加密访问）     HTTPRedirectHandler（自动跳转关系）