scrapy实战一：爬取boss直聘信息，存入mysql数据库

最新推荐文章于 2024-07-03 19:58:12 发布
最新推荐文章于 2024-07-03 19:58:12 发布
阅读量1.7k 收藏 5
点赞数 4
分类专栏： scrapy 文章标签： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a2639491403/article/details/80557526
版权
使用Scrapy 1.5和Python 3.6在Windows环境下，创建项目爬取Boss直聘的职位名称、工资、公司名称和地点，数据存储到MySQL数据库中。涉及items定义、spider编写、pipeline处理及数据库表结构设计。
摘要由CSDN通过智能技术生成

scrapy版本：1.5

python版本：3.6

系统：windows

网站链接： www.zhipin.com

1 创建项目

CTRL+R 输入cmd打开DOS窗口，输入如下命令创建项目（可自定义项目位置）

scrapy startproject job_demo

从图片中可以看到，你可以进入你的项目然后创建你的spider

cd Job_demo

新建spider蜘蛛

scrapy genspider job www.zhipin.com


2 编写项目

整个项目的结构如下


在爬去之前，我们先要明确好，需要爬取得东西，以python

最低0.47元/天 解锁文章
__顾影自怜
关注
专栏目录
Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息
jtahstu的专栏
12-11 4768
详情链接：http://www.jtahstu.com/blog/scrapy_zhipin_spider.html零、开发环境 MacBook Pro (13-inch, 2016, Two Thunderbolt 3 ports) CPU : 2 GHz Intel Core i5 RAM : 8 GB 1867 MHz LPDDR3 Python : Python 3.6.3 [GCC 4.2
使用scrapy框架爬boss直聘
也许会有_hui的博客
05-10 1562
BOSS直聘：https://www.zhipin.com/ 创建scrapy 项目： scrapy startproject scrapyProject 创建spider文件: scrapy genspider s_boss zhipin.com 目录 1.找接口 url 2.s_boss.py 3.items.py 4.pipelines.py 1.找接口 url p...
scrapy框架爬取Boss直聘，数据存入mysql
memory_qianxiao的博客
03-12 3621
自从上次用了scrapy爬取豆瓣电影后，发现scrapy除了入门相对request较难外，各方面都挺好的，速度很快，还有各个功能模块，以及django类似的各种中间件组成一个完善的系统框架，需要一点一点的学习，了解，毕竟官方文档写的太随性了~~~ 这次我爬取的是boss直聘上的各种职业，以及该职位的薪水，地点，公司等情况.... 老规矩镇楼图如下： 一张表大概有300个数据，因为b...
2024年用scrapy爬取BOSS直聘的操作
最新发布
elderingezez的博客
07-03 1110
query = ""# 检查文件是否存在，如果不存在则创建一个空文件pass#此处省略#此处省略try:qe = input('请搜索岗位和城市id(空格隔开):').split(' ')query=
Scrapy框架爬取Boss直聘网Python职位信息的
09-19
今天小编就为大家分享一篇关于Scrapy框架爬取Boss直聘网Python职位信息的源码，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
用Scrapy爬取Boss直聘网站信息
Qzh_bc的博客
05-09 1012
在当今的招聘市场中，数据成为企业决策和个人求职的重要依据。Boss直聘作为国内知名的在线招聘网站，其海量的职位信息为求职者提供了丰富的选择，同时也为企业招聘提供了便利。这篇文章是个简单用scrapy爬取Boss直聘的网站信息的文章，其中可能出现一些不合理的地方或错误，希望对你们有所帮助。Scrapy是一个基于Python的开源网络爬虫框架，提供了简单、高效的API来下载和解析网页数据。Scrapy不仅能够处理大规模的网页数据，还提供了多种输出方式，如CSV等，方便后续处理和分析。
Scrapy爬取某网站职位数据存入MySQL数据库（支持二级二面爬取）
12-23
Scrapy爬取某网站职位数据存入MySQL数据库（支持二级二面爬取） Scrapy爬取某网站职位数据存入MySQL数据库（支持二级二面爬取） Scrapy爬取某网站职位数据存入MySQL数据库（支持二级二面爬取） Scrapy爬取某网站...
Python-基于Python的scrapy爬虫框架实现爬取招聘网站的信息到数据库
08-10
总结起来，使用Python的Scrapy框架爬取招聘网站信息并存入数据库，需要理解Scrapy的组件工作原理，定制Spider、Item、Pipeline和Middleware，以及处理可能遇到的各种挑战。通过这个过程，我们可以高效地获取并存储...
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
09-09
在本示例中，我们将深入探讨如何使用Python3编写一个简单的网络爬虫，该爬虫能够抓取特定网页上的数据，并将这些数据存储到MySQL数据库中。首先，我们需要了解几个关键的Python库，包括`requests`、`re`（正则表达式...
基于scrapy+mysql爬取博客信息并保存到数据库中
01-14
本期内容：基于scrapy+mysql爬取博客信息并保存到数据库中 实验需求 - anaconda丨pycharm - python3.11.4 - scrapy - mysql 实验描述 本次实验实现了：使用Scrapy框架爬取博客专栏的目录信息并保存到MySQL数据库...
python爬虫教程：Scrapy框架爬取Boss直聘网Python职位信息的源码
python爬虫教程
03-06 3020
今天小编就为大家分享一篇关于Scrapy框架爬取Boss直聘网Python职位信息的源码，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧 分析 使用CrawlSpider结合LinkExtractor和Rule爬取网页信息 LinkExtractor用于定义链接提取规则，一般使用allow参数即可 LinkExtractor(allow=(), # 使用正...
python爬boss网站_Python的scrapy之爬取boss直聘网站
weixin_39692172的博客
12-06 393
#-*- coding: utf-8 -*-importscrapyfrom ..items importJobbossItemclassJobbosspiderSpider(scrapy.Spider):name= 'jobbosspider'#allowed_domains = ['https://www.zhipin.com/']allowed_domains = ['zhipin.com'...
python爬虫: 爬取boss网站数据 保存到mysql
qq_36606793的博客
04-16 617
爬取boss数据并保存到mysql boss的反爬虫控制尤其恶心 cookies大概用3次左右就不能用了 所以爬取不了太多东西 只可用来学习 等学习完逆向爬虫课程 再来挑战挑战 example.py import scrapy from bs4 import BeautifulSoup from boos_scrapy.items import BoosScrapyItem from time import sleep class ExampleSpider(scrapy.Spider): n
Python爬虫——Scrapy整合Selenium案例分析（BOSS直聘）
weixin_30947043的博客
09-06 1085
概述 本文主要介绍scrapy架构图、组建、工作流程,以及结合selenium boss直聘爬虫案例分析 架构图 组件 Scrapy 引擎（Engine） 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件. 调度器(Scheduler) 调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎. 下载器(Downloader) 下载...
Scrapy：boos直聘爬虫案例
旧人小表弟的博客 - 无业游民学习笔记
12-07 1493
爬虫代码 # -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from pa_chong.Scrapy.boos.boos.items import BoosItem class ZhipingSpider(CrawlSpider): name = 'zhiping' allowe
[python爬虫]爬取boss直聘并且存到Mysql数据库里
Black_God1的博客
08-22 1535
导包 import chardet,re,json,pymysql from urllib import request,parse from piaot import * Mysql def sql(sql_z): # 打开数据库连接 db = pymysql.connect("192.168.43.128", "root", "123456", "boss", ch...
用scrapy写一段爬取boss直聘上海地区职位信息的代码并导出excel表格
05-25
以下是一个简单的爬取boss直聘上海地区职位信息并导出excel表格的示例代码： ```python import scrapy import json import pandas as pd class BossSpider(scrapy.Spider): name = 'boss' allowed_domains = ['www.zhipin.com'] start_urls = ['https://www.zhipin.com/c101020100-p100101/'] def parse(self, response): # 获取职位信息列表 jobs = response.xpath('//div[@class="job-list"]/ul/li') for job in jobs: # 解析职位信息 job_title = job.xpath('./div[@class="job-title"]/text()').get() company_name = job.xpath('./div[@class="company-text"]/h3/a/text()').get() salary = job.xpath('./div[@class="job-limit clearfix"]/span/text()').get() job_url = job.xpath('./div[@class="info-primary"]/h3/a/@href').get() # 访问职位详情页，获取更多职位信息 yield scrapy.Request(job_url, callback=self.parse_job_detail, meta={ 'job_title': job_title, 'company_name': company_name, 'salary': salary }) # 翻页 next_page_url = response.xpath('//a[@ka="page-next"]/@href') if next_page_url: yield scrapy.Request(response.urljoin(next_page_url.get()), callback=self.parse) def parse_job_detail(self, response): # 获取职位要求、公司介绍等信息 job_desc = response.xpath('//div[@class="job-sec"]/div[@class="text"]/text()') job_desc = '\n'.join(job_desc.getall()).strip() company_info = response.xpath('//div[@class="job-sec company-info"]/div[@class="text"]/text()') company_info = '\n'.join(company_info.getall()).strip() # 获取meta传递的职位信息 job_title = response.meta['job_title'] company_name = response.meta['company_name'] salary = response.meta['salary'] # 导出数据到excel表格 data = { '职位名称': [job_title], '公司名称': [company_name], '薪资待遇': [salary], '职位描述': [job_desc], '公司介绍': [company_info], } df = pd.DataFrame(data) df.to_excel('boss.xlsx', index=False, header=False, mode='a') ``` 这段代码使用了Scrapy框架，通过XPath解析HTML页面，并使用pandas库将数据导出到excel表格中。您需要安装Scrapy和pandas库才能运行该代码，可以使用以下命令进行安装： ``` pip install scrapy pandas ``` 在运行该代码前，您需要根据您的需求修改`start_urls`和`allowed_domains`变量来指定您要爬取的网站。同时，您也可以根据需要修改数据导出的文件名和数据字段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值