[day5]python网络爬虫实战：爬取Top250电影(Scrapy版)

l> 我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情

关于Scrapy的用法，我们可以参考这篇文章：
[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)

1.开发环境

1. IDE: PyCharm 2021.2.1 (Professional Edition)
2. Python: 3.9.7

2.第三方库

1. scrapy: 网络请求
2. scrapy.css: 分析HTML特征

3.Scrapy css 语法

https://geek-docs.com/scrapy/scrapy-tutorials/scrapy-css-grammar.html

4.网页分析

用Chrome打开https://movie.xxx.com/top250，点击红圈中的箭头，然后鼠标滑过左边网页区域的时候，右边就会显示对应的HTML代码块。

5.xx.py

class xxSpider(scrapy.Spider):
    name = 'xx'
    allowed_domains = ['movie.xx.com']
    start_urls = ['https://movie.xx.com/top250']

    def parse(self, response):
        for movie in response.css('div.item'):
            item = xxItem()
            item['movie_name'] = movie.css('div.pic a img::attr(alt)').extract()
            yield item

        # 其它页
        next_page = response.css('span.next a::attr(href)').extract_first()
        if next_page:
            print('************* next_page = ' + next_page)
            yield Request(self.start_urls[0] + next_page, callback=self.parse)

6.保存爬取的内容为csv文件

start.py中的命令行我们修改为：

cmdline.execute("scrapy crawl xx-o data.csv".split())

7.问题1：“UnicodeDecodeError: ‘utf-8’ codec can’t decode byte”

需要在settings.py中设置：

ROBOTSTXT_OBEY = False

8.问题2：拒绝访问

需要在settings.py中设置：

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'

9.问题3：csv文件中文乱码

需要在settings.py中设置：

FEED_EXPORT_ENCODING = 'utf-8-sig'

10.效果

11.Github源码

https://github.com/ddnosh/weekly-sample-python/tree/master/5.douban/douban