qq_62573773的博客

原创 爬取豆瓣某个片单的信息，包括电影名字、发布时间等，最主要的还是要爬取片单创建者的评语（评论）

主要的问题是在爬取评语时，因为位置比较特殊，且爬取导演等信息时，class="abstract"下有多个br标签，br标签既表示开始也表示结束，使用text()就只能提取第一个。我的需求是爬取某个片单的信息，包括电影名字、导演、主演、类型、制片国家/地区、年份，最主要的还是要爬取这个片单创建者的评论和电影的豆瓣链接。小小记录一下自己的实践。我在后面想获取某个电影的详细信息时，使用了前面爬取的豆瓣链接，但是因为xpath给的是一个列表，导致调用自己定义的fetch_url函数传参时出现错误。