scrapy将一个页面上相同类型的元素(如评论)逐条保存
最近在学scrapy爬虫,在我爬取豆瓣的评论用来练手时,出现了一个困扰我很久的问题,解决之后,特来分享。
我的目标是爬取每条评论的id、发送时间、评价星级、评论内容等等信息。开始时觉得很简单,事实上也确实不难,只需要用xpath取出页面上每条评论所在的元素,然后遍历取出的所有元素,将我所需要的信息一一保存到item里就行了。
代码如下(错误的代码,错误位置请见后文):
def p...
原创
2020-02-20 19:20:01 ·
315 阅读 ·
1 评论