一. 两类爬虫 普通爬虫模拟爬虫 二. 一些技巧 浏览器代理(UA):chrone、火狐IP代理:芝麻代理页面解析:lxml、BeautifulSoup跳来的页面爬完一个休息一会儿晚上的时候爬虫:来之后可以方便查看。有缓存时间 三、资料热度更新 未实现 (1)多线程并发抓取为什么要经常照看? (1)网页内容经常会变动 (2)未爬完:第一页之后就空白了 (3)有的网站倒闭了:虾米音乐 (4)代理池问题