平安实习—scrapy爬虫框架入门

最新推荐文章于 2024-03-14 10:24:03 发布

Havertz_2024

最新推荐文章于 2024-03-14 10:24:03 发布

阅读量229

点赞数

文章标签： python xpath

本文链接：https://blog.csdn.net/qq_38480908/article/details/112789306

版权

学习笔记
'''
# 1、创建项目
scrapy startproject + 项目名称


# 2、进入项目中
cd 项目名称


# 3、创建爬虫
scrapy genspider + 爬虫名称 + 域名


# 4、scrapy 实例

# 4.1 配制settings文件
ROBOTSTXT_OBEY = False
添加请求头
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36",

# 4.2 配制启动文件（start.py）
from scrapy import cmdline
方法一
cmdline.execute("scrapy crawl qsbk_spider".split())
方法二
cmdline.execute(["scrapy", "crawl", "qsbk_spider"])

# 4.3 指定爬取的第一页
start_urls = ['https://www.qiushibaike.com/text/page/1/']

# 4.4 指定解析方法与规则
    def parse(self, response):
        divs = response.xpath("//div[@class='col1 old-style-col1']/div")
        for div in divs:
            author = div.xpath(".//a/h2/text()").get().strip()
            content = div.xpath(".//div[@class='content']//text()").getall()
            content = "".join(content).strip()
            print(author)
            print(content)

'''