Python 简单爬虫豆瓣热门影评

最新推荐文章于 2024-09-15 13:36:39 发布

spyder13

最新推荐文章于 2024-09-15 13:36:39 发布

阅读量1.2k

点赞数

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/spyder13/article/details/52489844

版权

这篇博客记录了作者初次尝试使用Python进行网络爬虫，目标是抓取豆瓣网站上的热门电影评论。虽然代码可能不够完善，但博主希望通过这个过程学习和分享爬虫的基本步骤。

摘要由CSDN通过智能技术生成

第一次写Python,备忘用，写的不完善大家见笑了

# -*- coding:utf-8 -*-

import urllib
import urllib2
import re
import xlwt

book=xlwt.Workbook(encoding='utf-8',style_compression=0)
sheet=book.add_sheet('movie_review',cell_overwrite_ok=True)
sheet.write(0, 0, '标题')
sheet.write(0, 1, '影评人')
sheet.write(0, 2, '电影')
sheet.write(0, 3, '星级')
sheet.write(0, 4, '时间')
sheet.write(0, 5, '内容')

baseurl='https://movie.douban.com/review/best/?start='
for i in range(0,3):
        url_list=baseurl+str(i*20)
        request_url = urllib2.Request(url_list)
        response_url = urllib2.urlopen(request_url)
        html_url = response_url.read().decode('utf-8')
        pattern_url = re.compile('<h3 class="title">.*?<a href="(.*?)/"', re.S)
        url_thispage =