环境准备
你好!可能这是你第一次使用 scrapy框架 ,所以你需要去安装一下才能使用。接下来我将讲述如何在多个平台安装scrapy。
windows系统
- pip install wheel ## 一定要先安装wheel
- 下载twisted,下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- pip install Twisted‑20.3.0‑cp39‑cp39‑win_amd64.whl ## 根据自己的python版本和系统位数选择我的是python3.9 64位系统 所以安装这个包 如果报错 那就换个包下载下来安装
- pip install pywin32
- pip install scrapy
- pip install pillow ## 针对如果爬取图片时候无反应解决方法详细文章引用如下
## [pillow](https://blog.csdn.net/weixin_42464885/article/details/116292779)
linux or mac
- pip install scrapy ## 直接安装即可若报错则重新去安装包,过程如Windows所示
全部代码
代码均在scrapy下完成,文件结构如下
小白先创建好框架后直接复制粘贴代码即可
详情请看scrapy目录结构
一、spiders下的example.py
import scrapy
import requests
import parsel
from scrapy.http import Request
from fake_useragent import UserAgent
from get.items import GetItem
class ExampleSpider(scrapy.Spider):
name = 'example'
pageNum