python scrapy入门

1、安装

终端输入

pip install scrapy -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

2、创建项目

scrapy startproject 项目名称

3、项目组成

创建爬虫文件

需要在项目下的spiders文件夹下创建

scrapy genspider 爬虫名字 网页的域名

例子

import scrapy


class BaiduSpider(scrapy.Spider):
    name = "baidu"
    allowed_domains = ["www.baidu.com"]
    start_urls = ["https://www.baidu.com"]

    def parse(self, response):
       content= response.text
       print(content)

运行

scrapy crawl baidu
```、![在这里插入图片描述](https://img-blog.csdnimg.cn/0a40be7424c743c88460e1b4eb4cc607.png)


# 发现爬取不了，这是因为没关ROBOTSTXT_OBEY = True君子协议![在这里插入图片描述](https://img-blog.csdnimg.cn/4eb5e0248b5748e9ac9e66f3d1146531.png)
改成 False
![在这里插入图片描述](https://img-blog.csdnimg.cn/cf9f16568ab94294882473a450bfc7ac.png)
# 再次运行，成功
![在这里插入图片描述](https://img-blog.csdnimg.cn/294a62cc6cc444759effa9092948399b.png)