bilibili专栏图片爬取(scrapy框架)

环境准备

你好!可能这是你第一次使用 scrapy框架 ,所以你需要去安装一下才能使用。接下来我将讲述如何在多个平台安装scrapy

windows系统
	- pip install wheel			## 一定要先安装wheel
	- 下载twisted,下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
	- pip install Twisted‑20.3.0‑cp39‑cp39‑win_amd64.whl  ## 根据自己的python版本和系统位数选择我的是python3.9 64位系统 所以安装这个包 如果报错 那就换个包下载下来安装
	- pip install pywin32
	- pip install scrapy
	- pip install pillow  		## 针对如果爬取图片时候无反应解决方法详细文章引用如下
## [pillow](https://blog.csdn.net/weixin_42464885/article/details/116292779)
linux or mac
	- pip install scrapy ## 直接安装即可若报错则重新去安装包,过程如Windows所示

部分引用于:pillow
scrapy安装

全部代码

代码均在scrapy下完成,文件结构如下
小白先创建好框架后直接复制粘贴代码即可
scrapy
详情请看scrapy目录结构

一、spiders下的example.py

import scrapy
import requests
import parsel
from scrapy.http import Request
from fake_useragent import UserAgent
from get.items import GetItem


class ExampleSpider(scrapy.Spider):
    name = 'example'
    pageNum 
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值