doufupi7的博客

原创 Python爬取豆瓣电影短评并保存为表格

爬取思路：通过requests请求直接请求url得到网页的原html代码，豆瓣的短评都是直接储存到html当中的，所以直接使用xpath对网页进行解析并爬取即可得到评论的时间，内容和评价。接下来是代码部分，我就将整个代码放进来了，只要导入对应的库应该都是可以正常运行的。1.豆瓣评论在网页html里使用的是力荐、推荐等字眼，我将其转换成了数字形式保存。2.其中的output_file_path我们需要换成我们自己储存的文件路径。通过相同的方法，我们可以得到评论的时间、评价等内容。使用的浏览器：google，