一、爬虫前奏
- 明确目的
- 找到数据对应的网页
- 分析网页的数据结构,找到所需要的数据所在的标签位置
- 模拟HTTP请求,向服务器发送这个请求,获取服务器返回的HTML
- 用正则表达式提取所需要的数据
二、开始爬取
- 先导入urllib模块下的request对象
- 获取网页内容
r = request.urlopen(网页地址)
htmls = r.read()
htmls = str(htmls, encoding='utf-8')
三、复杂爬虫的一些推荐建议
- BeautifulSoup,Scrapy
- 爬虫、反爬虫、反反爬虫
- ip 可能会被封
- 代理ip库,换个ip继续爬