开始你的第一个scrapy项目吧
scrapy安装与验证
scrapy安装:
pip install scrapy
验证安装:
pip list
在pycharm中,点击file——settings——project——python interpreter——点击+号——搜索scrapy——install package!
创建第一个scrapy项目
控制台输入cd/d 然后将想要放置的项目位置拖过来即可!
管理员身份下好像不能拖?我是直接双击!
键入命令:scrapy_baidu是我起的名字,大家可以按照自己的更改!
名字不能以数字开头,也不能是中文,否则后续会报错奥!
scrapy startproject scrapy_baidu
接下来,我们可以在其中看到如下!
创建爬虫文件
一定要在spiders目录下创建爬虫文件!
首先我们来看其目录结构,然后再看怎么写命令!
接下来我们看看当前进入的目录,再看看怎么写命令!
于是 项目名\项目名\spiders 即可进入目录!
再来创建第一个文件吧!
baidu是我起的文件名,大家也可以自行更改奥!
https://www.baidu.com是我想爬取的网页,大家也可以自行更改奥!
scrapy genspider baidu https://www.baidu.com
注意一般创建爬虫文件不加http协议的,具体见下文注释。
爬虫文件各参数含义
import scrapy
class BaiduSpider(scrapy.Spider):
# 爬虫的名字 用于运行爬虫的时候 要用的名字
name = 'baidu'
# 允许访问的域名
allowed_domains = ['https://www.baidu.com']
# 起始的url地址 指的是第一次要访问的域名
# start_urls是在allowed_domains的前面加上http:// 然后在后面加上/ 一般情况下创建文件的时候不需要加http协议 如果添加了手动删掉
start_urls = ['https://www.baidu.com/']
# 是执行了start_urls之后执行的方法 方法中的response就是返回的对象 相当于requests.get()
def parse(self, response):
print("2022考研加油!")
我们想要执行的内容,就在方法体中书写!
运行爬虫文件
scrapy crawl 爬虫的名字
好像做了反爬,我们看看robots.txt文件!
还挺多!
下面来改settings!
ROBOTSTXT_OBEY = False
结果来啦!