Python爬虫_第二篇 静态网页爬虫（1）_豆瓣页面解析

1、分析URL

• start:从第几条开始展示，豆瓣影评每一页都是20条评论，所以start应该是20的倍数。
• limit:这个限制了每页显示多少评论，但修改数值也没用。
• sort:根据热门/最新/好友进行排序， 这里我选择了热门。
• status：P/F代表看过和想看，我选择了想看。
• percent_type:影评类型，h/m/l分别代表好评/一般/差评，是我们需要修改的。

根据参数分析，我们得到BASE_URL应该是：

BASE_URL = 'https://movie.douban.com/subject/33404425/comments?start={}&limit=20&sort=new_score&status=P&percent_type={}'

2、页面解析

2.1  判断静态网页还是动态网页【豆瓣页面为静态网页】

• Ctrl+U或者右击显示网页源代码
• 复制原始网页的内容，在源代码中进行搜索。搜索框ctrl+F
• 若搜索到，则是静态网页，若没有搜索到，这是动态网页。

2.2  网页信息解析

我使用的是Chrome浏览器，Ctrl+U显示网页源码，可以发现豆瓣影评部分并没有使用JS动态更新，所以我们可以直接对源码进行解析。

HTML<div>元素：定义文档中的分区或节（division/section）【块级元素，它是可用于组合HTML元素的容器】

HTML<span>元素：定义span，用来组合文档中的行内元素【内联元素，可用作文本的容器】