爬取汽车之家图片
- 需求:爬取汽车之家某一个汽车的图片
一、 普通scrapy
第一步 页面分析
- 目标url:
https://car.autohome.com.cn/photolist/series/265/p1/
https://car.autohome.com.cn/photolist/series/265/p2/ 第二页
https://car.autohome.com.cn/photolist/series/265/p3/ 第三页- 观察网页很明显265是该车型的编码
- 页数p1 p2编码
- 观察图片url:
- 大图:https://car2.autoimg.cn/cardfs/product/g25/M0B/29/A8/800x0_1_q95_autohomecar__wKgHIlrwJHaAK02EAAsUwWrTmXY510.jpg
- 小图:
https://car2.autoimg.cn/cardfs/product/g25/M0B/29/A8/240x180_0_q95_c42_autohomecar__wKgHIlrwJHaAK02EAAsUwWrTmXY510.jpg
第二步 实现步骤
- 1 创建scrapy项目
scrapy startproject lsls
2 创建爬虫程序
scrapy genspider hy car.autohome.com.cn
3 实现逻辑
(一)准备程序
在terminal终端输入
scrapy startproject lsls
# 爬虫程序名最好不要和爬虫程序重名
scrapy genspider hy car.autohome.com.cn
- 创建start.py文件,放在与scrapy.cfg同层目录下
# 要运行整个程序的话,只需要运行这个文件
from scrapy import cmdline
# cmdline.execute('scrapy crawl hy'.split())
cmdline.execute(['scrapy','crawl','hy'])
(二)setting.py文件
- 固定格式
LOG_LEVEL = 'WARNING'
ROBOTSTXT_OBEY = False
DEFAULT_REQUEST_HEADERS = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) App