手把手教写爬虫 |Python 采集大众点评数据采集实战

任务

采集 http://www.dianping.com/shanghai/hotel

 

爬虫设计阶段	类型	问题	需要做到
1	请求	网页数据在哪里？	发现网址url规律
2	请求	如何获取网页数据？	先尝试使用requests成功访问一个url，拿到一个页面数据
3	解析	从html中定位需要的数据	使用pyquery对这一个页面的网页数据进行解析
4	存储	如何存储数据	使用csv库将数据存储到csv文件中
5	整理	重复2-4	for循环对所有的url进行访问解析存储

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤
QQ群：623406465

1. 发现网址规律url

视频教程  https://www.bilibili.com/video/BV1AE411r7ph?p=1

能否成功采集某网站，该网站需要满足两个条件

• 我们有权限浏览

• 我们肉眼能在浏览器中看到

满足这两个条件后，我们就可以寻找网址规律。

一般简单的网站只需要看看翻页和网址栏即可，有难度的就需要使用开发者工具。

template = 'http://www.dianping.com/shanghai/hotel/p{page}'


for page