爬取汽车之家图片 - scrapy - crawlspider - python爬虫案例

爬取汽车之家图片

• 需求:爬取汽车之家某一个汽车的图片
  ​

一、 普通scrapy

第一步 页面分析

• 目标url:
  https://car.autohome.com.cn/photolist/series/265/p1/
  https://car.autohome.com.cn/photolist/series/265/p2/ 第二页
  https://car.autohome.com.cn/photolist/series/265/p3/ 第三页
  • 观察网页很明显265是该车型的编码
  • 页数p1 p2编码
• 观察图片url：
  • 大图：https://car2.autoimg.cn/cardfs/product/g25/M0B/29/A8/800x0_1_q95_autohomecar__wKgHIlrwJHaAK02EAAsUwWrTmXY510.jpg
  • 小图：
    https://car2.autoimg.cn/cardfs/product/g25/M0B/29/A8/240x180_0_q95_c42_autohomecar__wKgHIlrwJHaAK02EAAsUwWrTmXY510.jpg

第二步 实现步骤

• 1 创建scrapy项目
  scrapy startproject lsls
  2 创建爬虫程序
  scrapy genspider hy car.autohome.com.cn
  3 实现逻辑
  

（一）准备程序

在terminal终端输入

scrapy startproject lsls
# 爬虫程序名最好不要和爬虫程序重名
scrapy genspider hy car.autohome.com.cn

• 创建start.py文件，放在与scrapy.cfg同层目录下

# 要运行整个程序的话，只需要运行这个文件
from scrapy import cmdline
# cmdline.execute('scrapy crawl hy'.split())
cmdline.execute(['scrapy','crawl','hy'])

（二）setting.py文件

• 固定格式

LOG_LEVEL = 'WARNING'

ROBOTSTXT_OBEY = False

DEFAULT_REQUEST_HEADERS = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) App