python使用scrapy爬取数据案例记录

最新推荐文章于 2024-09-11 06:09:18 发布

小墨蛇

最新推荐文章于 2024-09-11 06:09:18 发布

阅读量255

点赞数

分类专栏： pythonSet 文章标签： python scrapy 爬虫

本文链接：https://blog.csdn.net/weiyi47/article/details/130774414

版权

本文详细记录了一次使用Python的Scrapy框架进行网页数据爬取的过程，从创建项目、配置settings.py，到编写爬虫文件、使用xpath解析页面数据、定义items、设置pipelines进行数据存储，最后开启pipeline功能完成整个爬取流程。

摘要由CSDN通过智能技术生成

1.创建项目

scrapy startproject pipboss

2.进入项目

cd .\pipboss\

3.创建爬虫文件

scrapy genspider bosstext www.boss.com

目录结构
在这里插入图片描述

setting.py设置

添加
LOG_LEVEL = "ERROR"
true变false
ROBOTSTXT_OBEY = False
启用useragent
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36"

4.编写爬虫文件

获取url
start_urls = [“https://www.zhipin.com/web/geek/job?query=python”]

import scrapy


class BosstextSpider(scrapy.Spider):
    name = "bosstext"
    # allowed_domains = ["www.boss.com"]
    start_urls = ["https://www.zhipin.com/web/geek/job?query=python"]

    # 解析获取数据
    def parse(self, response):
        print