python爬虫原理解析

三个模块：url管理器（已爬和待爬）、网页下载器urllib2、网页解析器BeautifulSoup.

第一步：构造request

第二步：urllib2.urlopen(request)

第三部：使用Beautifulsoup来对下载下来的网页进行DOM解析。