初级使用Scrapy

创建Scrapy项目：测试项目为lufei小说

创建爬虫模版：要先切换到刚刚创建的lufei路径下面，名称为lufeishuo，域名为b.faloo.com

模版创建好之后修改stat_url为自己要爬取的url

import scrapy


class LufeishuoSpider(scrapy.Spider):
    name = "lufeishuo"
    allowed_domains = ["b.faloo.com"]
    start_urls = ["https://b.faloo.com/html_1404_1404547/"]

    def parse(self, response):
        print(response.text)

然后修改设置settings.py，改成不接受协议False

解开注释并添加自己的User_Agent伪装一下

在scrapy.cfg的同级目录下面创建start.py文件

在start文件中写入启动程序

右键运行至此结束