【编程】逐行解析之爬取招聘网站

最新推荐文章于 2024-08-02 09:46:03 发布
最新推荐文章于 2024-08-02 09:46:03 发布
阅读量501 收藏 5
点赞数
分类专栏： python 文章标签： python 爬虫 招聘网 逐行 解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/food_for_thought/article/details/104798290
版权

俗话说读万卷书不如行万里路，提升编程能力的很好途径之一是自己去写，但当自己不会的时候去解析别人写的代码也是效率不错的学习途径。
本文将逐行解读大神Alfred数据室里的一项爬取招聘网站的代码，因小弟并非计算机专业，只是略有兴趣，遗漏之处，必为不会，错误不足之处，请不吝指点。
完整代码在文末。
没经验没学历的外教为啥能拿1.4W+的高薪？

本文主要接触python语法中的class的使用，同时略微接触requests和xml库的用法

import requests
import pandas as pd
from lxml import etree

导入第三方库。
其中，requests 库可以用来发送网络请求。
pandas 提供了大量能快速便捷地处理数据的函数和方法。
lxml 可以处理 XML 和 HTML 文件。

class TeachInChina(object):

面向对象编程中的一种基本语法。

def __init__(self, max_page):
        self.start_urls = ['http://www.jobleadchina.com/job?job_industry=Teaching' \
                           '&company_name=&page={}'.format(page) for page in range(1, max_page+1)]

在类的内部，可以定义函数，与一般函数定义不同，类方法必须包含参数 self, 且为第一个参数，self 代表的是类的实例。
start_urls 从哪个网址开始抓取。
format是用来格式化字符串的，format() 方法格式字符串的调用格式为："{字段名!转换标志:格式说明符}.format()"，该代码的意思是将该网址的 page 数值改为后面所要求的。
range(1, max_page+1)]给予了爬取的页码范围，最大值由自己制定。

def get_data(self):
        for url in self.start_urls:
            res = requests.get(url)
            page = url.split('=')[-1]
            self.parse_data(res, page)
            print('成功爬取并保存第{}页数据!'.format(page))

此处采用循环语法，从第一页访问到设定的最后一页，并使用后面的函数来爬取所需数据。
res = requests.get(url) 即向该网址发送访问请求。
page = url.split(’=’)[-1] 之前提到的 page 由网址的 “=” 为分隔符的最后一段，遇到这种情况不确定，可以直接输入 url 和该代码，直接 print 出来。

@staticmethod
    def parse_data(res, page):
        if res.status_code == 200:
            parsed = etree.HTML(res.text)

            title = parsed.xpath('//*[@class="positionTitle"]/a/text()')
            link = parsed.xpath('//*[@class="positionTitle"]/a/@href')
            salary = [slr.strip() for slr in parsed.xpath('//*[@class="salaryRange"]/text()')]
            company = parsed.xpath('//*[@class="companyName"]/a/text()')
            area = parsed.xpath('//*[@class="jobThumbnailCompanyIndustry"]/span[3]/text()')
            update_time = parsed.xpath('//*[@class="post-time"]/text()')
            exp_title = parsed.xpath('//*[@class="jobThumbnailPositionRequire"]/span[3]/text()')
            education = parsed.xpath('//*[@class="jobThumbnailPositionRequire"]/span[1]/text()')
            com_type = parsed.xpath('//*[@class="jobThumbnailCompanyIndustry"]/span[1]/text()')

            data = pd.DataFrame({'title': title, 'link': link, 'salary': salary,
                                 'company': company, 'area': area, 'update_time': update_time,
                                 'exp_title': exp_title, 'education': education,
                                 'com_type': com_type})
            if page == '1':
                data.to_csv('jobleadchina.csv', index=False, mode='a', header=True)
            else:
                data.to_csv('jobleadchina.csv', index=False, mode='a', header=False)

        else:
            print('链接{}请求不成功!'.format(res.url))

@staticmethod 意味着令下面的函数返回静态属性，不强制要求传递参数，观察下面定义的函数，没有写 self.
该函数采用两个条件语句，第一个用来判别是否成功访问以进行数据抓取，第二个用来判别是否为第一页以设置爬取的数据文件格式。
当我们访问网页时，会返回 HTTP 状态码（HTTP status code），成功访问时的值为 200。（文末附状态码对照表）
etree.HTML(res.text) 构造了一个 XPath 解析对象即解析了我们输入的网址。
Xpath 是可以 XML 文档中查找信息的语言，在这里就是搜寻我们所要找的信息，在该语言中：

//*选取文档中的所有元素
@选取属性
/a获取a标签
/text()提取文本
if __name__ == '__main__':
    job = TeachInChina(96)
    job.get_data()

name 是当前模块名，当模块被直接运行时模块名为 main 。这句话的意思就是，当模块被直接运行时，以下代码块将被运行，当模块是被导入时，代码块不被运行。
job = TeachInChina(96) 就是引入上面的写的class，96为最大页数.
最后一行，执行代码。

知识总结

class xx():  # 类
	def __init__(self):  # 类方法必须包含参数self，代表是类的实例
		self.xx
	@staticmethod  # 返回静态属性
	def another():
		url{字段名!转换标志:格式说明符}.format()  # 格式化字符串
		url.split('=')[-1]  # 选择=后面的最后一段
if __name__ == '__main__':  # name是当前模块名，即接下来的内容不可被import
    over = xx(?)
    over.another()

requests库

import requests  # 用来访问网站信息
url = {}
res = requests.get(url)  # 获取网址

lxml库

from lxml import etree  # 处理XML和HTML
res.status_code == 200  # HTTP status code，200为成功
etree.HTML(res.text)  # 构造一个 XPath 解析对象
parsed.xpath('//*[@class="positionTitle"]/a/text()')  # //*选取所有元素，@选取属性，/a获取a标签，/text()获取文本

完整代码

import requests
import pandas as pd
from lxml import etree


class TeachInChina(object):
    def __init__(self, max_page):
        self.start_urls = ['http://www.jobleadchina.com/job?job_industry=Teaching' \
                           '&company_name=&page={}'.format(page) for page in range(1, max_page+1)]

    def get_data(self):
        for url in self.start_urls:
            res = requests.get(url)
            page = url.split('=')[-1]
            self.parse_data(res, page)
            print('成功爬取并保存第{}页数据!'.format(page))

    @staticmethod
    def parse_data(res, page):
        if res.status_code == 200:
            parsed = etree.HTML(res.text)

            title = parsed.xpath('//*[@class="positionTitle"]/a/text()')
            link = parsed.xpath('//*[@class="positionTitle"]/a/@href')
            salary = [slr.strip() for slr in parsed.xpath('//*[@class="salaryRange"]/text()')]
            company = parsed.xpath('//*[@class="companyName"]/a/text()')
            area = parsed.xpath('//*[@class="jobThumbnailCompanyIndustry"]/span[3]/text()')
            update_time = parsed.xpath('//*[@class="post-time"]/text()')
            exp_title = parsed.xpath('//*[@class="jobThumbnailPositionRequire"]/span[3]/text()')
            education = parsed.xpath('//*[@class="jobThumbnailPositionRequire"]/span[1]/text()')
            com_type = parsed.xpath('//*[@class="jobThumbnailCompanyIndustry"]/span[1]/text()')

            data = pd.DataFrame({'title': title, 'link': link, 'salary': salary,
                                 'company': company, 'area': area, 'update_time': update_time,
                                 'exp_title': exp_title, 'education': education,
                                 'com_type': com_type})
            if page == '1':
                data.to_csv('jobleadchina.csv', index=False, mode='a', header=True)
            else:
                data.to_csv('jobleadchina.csv', index=False, mode='a', header=False)

        else:
            print('链接{}请求不成功!'.format(res.url))


if __name__ == '__main__':
    job = TeachInChina(96)
    job.get_data()

状态码对照表

状态码含义
100客户端应当继续发送请求。
101服务器已经理解了客户端的请求，并将通过Upgrade 消息头通知客户端采用不同的协议来完成这个请求。
102由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。
200请求已成功，请求所希望的响应头或数据体将随此响应返回。
201请求已经被实现，而且有一个新的资源已经依据请求的需要而建立，且其 URI 已经随Location 头信息返回。假如需要的资源无法及时建立的话，应当返回 ‘202 Accepted’。
202服务器已接受请求，但尚未处理。
203服务器已成功处理了请求，但返回的实体头部元信息不是在原始服务器上有效的确定集合，而是来自本地或者第三方的拷贝。
204服务器成功处理了请求，但不需要返回任何实体内容，并且希望返回更新了的元信息。
205服务器成功处理了请求，且没有返回任何内容。
206服务器已经成功处理了部分 GET 请求。
207由WebDAV(RFC 2518)扩展的状态码，代表之后的消息体将是一个XML消息，并且可能依照之前子请求数量的不同，包含一系列独立的响应代码。
300被请求的资源有一系列可供选择的回馈信息，每个都有自己特定的地址和浏览器驱动的商议信息。
301被请求的资源已永久移动到新位置，并且将来任何对此资源的引用都应该使用本响应返回的若干个 URI 之一。
302请求的资源现在临时从不同的 URI 响应请求。由于这样的重定向是临时的，客户端应当继续向原有地址发送以后的请求。
304如果客户端发送了一个带条件的 GET 请求且该请求已被允许，而文档的内容（自上次访问以来或者根据请求的条件）并没有改变，则服务器应当返回这个状态码。
305被请求的资源必须通过指定的代理才能被访问。
306在最新版的规范中，306状态码已经不再被使用。
307请求的资源现在临时从不同的URI 响应请求。由于这样的重定向是临时的，客户端应当继续向原有地址发送以后的请求。
401当前请求需要用户验证。
402该状态码是为了将来可能的需求而预留的。
403服务器已经理解请求，但是拒绝执行它。
404请求失败，请求所希望得到的资源未被在服务器上发现。没有信息能够告诉用户这个状况到底是暂时的还是永久的。
405请求行中指定的请求方法不能被用于请求相应的资源。
406请求的资源的内容特性无法满足请求头中的条件，因而无法生成响应实体。
407与401响应类似，只不过客户端必须在代理服务器上进行身份验证。代理服务器必须返回一个 Proxy-Authenticate 用以进行身份询问。
408请求超时。
409由于和被请求的资源的当前状态之间存在冲突，请求无法完成。
410被请求的资源在服务器上已经不再可用，而且没有任何已知的转发地址。
411服务器拒绝在没有定义 Content-Length 头的情况下接受请求。
412服务器在验证在请求的头字段中给出先决条件时，没能满足其中的一个或多个。
413服务器拒绝处理当前请求，因为该请求提交的实体数据大小超过了服务器愿意或者能够处理的范围。
414请求的URI 长度超过了服务器能够解释的长度，因此服务器拒绝对该请求提供服务。
415对于当前请求的方法和所请求的资源，请求中提交的实体并不是服务器中所支持的格式，因此请求被拒绝。
416如果请求中包含了 Range 请求头，并且 Range 中指定的任何数据范围都与当前资源的可用范围不重合，同时请求中又没有定义 If-Range 请求头，那么服务器就应当返回416状态码。
417在请求头 Expect 中指定的预期内容无法被服务器满足，或者这个服务器是一个代理服务器，它有明显的证据证明在当前路由的下一个节点上，Expect 的内容无法被满足。
421从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。
422从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。
422请求格式正确，但是由于含有语义错误，无法响应。
424由于之前的某个请求发生的错误，导致当前请求失败，例如 PROPPATCH。（RFC 4918 WebDAV）
425在WebDav Advanced Collections 草案中定义，但是未出现在《WebDAV 顺序集协议》（RFC 3658）中。
426客户端应当切换到TLS/1.0。（RFC 2817）
449由微软扩展，代表请求应当在执行完适当的操作后进行重试。
500服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。
501服务器不支持当前请求所需要的某个功能。
502作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。
503由于临时的服务器维护或者过载，服务器当前无法处理请求。
504作为网关或者代理工作的服务器尝试执行请求时，未能及时从上游服务器（URI标识出的服务器，例如HTTP、FTP、LDAP）或者辅助服务器（例如DNS）收到响应。 　　注意：某些代理服务器在DNS查询超时时会返回400或者500错误
505服务器不支持，或者拒绝支持在请求中使用的 HTTP 版本。这暗示着服务器不能或不愿使用与客户端相同的版本。响应中应当包含一个描述了为何版本不被支持以及服务器支持哪些协议的实体。
506由《透明内容协商协议》（RFC 2295）扩展，代表服务器存在内部配置错误：被请求的协商变元资源被配置为在透明内容协商中使用自己，因此在一个协商处理中不是一个合适的重点。
507服务器无法存储完成请求所必须的内容。这个状况被认为是临时的。WebDAV (RFC 4918)
509服务器达到带宽限制。这不是一个官方的状态码，但是仍被广泛使用。
510获取资源所需要的策略并没有没满足。（RFC 2774）
food_for_thought
关注
专栏目录
利用Python进行数据爬取与分析实战案例解析
mrdeam的博客
06-14 293
本文介绍了如何利用Python进行数据爬取与分析的实战案例，并从多个方面对豆瓣电影Top 250进行了深入探讨。首先，我们通过Requests和Beautiful Soup库实现了数据爬取，获取了电影标题和链接等信息，并将其保存到CSV文件中。接着，我们使用Pandas进行了简单的数据统计分析和可视化，包括电影类型数量统计、评分分布分析、热门导演和演员分析等。然后，我们进行了进阶分析，利用情感分析技术对电影评论进行了情感分析，以更全面地了解用户对电影的评价和态度。
智联招聘岗位信息爬取
04-12
使用Python2.7的版本，爬取智联招聘岗位信息，并将招聘结果保存在excel中。
Python爬取招聘网站
yhj198927的博客
05-21 386
import time import pymongo import requests from bs4 import BeautifulSoup client=pymongo.MongoClient('localhost',27017) mydb=client['mydb'] lagou=mydb['lagou'] headers={ 'Accept': 'text/html,applicat...
2024年必备技能：智联招聘岗位信息采集技巧全解析
最新发布
zhou6343178的博客
08-02 825
随着大数据时代的发展，精准定位职业机会成为程序员求职的关键。本文将深入解析如何利用Python高效采集智联招聘上的岗位信息，助你在2024年的职场竞争中脱颖而出。通过实战代码示例，揭示网络爬虫背后的秘密，让你轻松掌握这一必备技能。
Python爬取招聘网站招聘信息
D2cOneluo的博客
07-20 1131
仅供个人学习笔记使用。 from lxml import etree parser = etree.HTMLParser(encoding='utf-8') html = etree.parse('招聘网站.html',parser=parser) #1、获取所有li标签 # //li # xpath函数返回的是一个列表 trs = html.xpath('//li') for li in trs: print(etree.tostring(li,encoding='utf-8').decode(
Python爬取招聘网站，获取一手招聘需求，轻松面试上岗
2401_83977554的博客
04-01 913
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费。
python爬取招聘网站的选题背景_Python爬虫爬取智联招聘（进阶版）
weixin_39969448的博客
12-05 936
原标题：Python爬虫爬取智联招聘(进阶版) 图片：Westworld Season 2作者王强简介Python追随者，曾无意间利用微信好友男女比例证明了自己的程序员身份。个人公号：C与Python实战上一篇文章中《Python爬虫抓取智联招聘(基础版)》我们已经抓取了智联招聘一些信息，但是那些对于找工作来说还是不够的，今天我们继续深入的抓取智联招聘信息并分析，本文使用到的第三方库很多，涉及到的...
python爬取内容存入Excel实例
09-19
1. **Python**: 当前最流行的编程语言之一，特别适合于快速开发各种脚本程序。 2. **Requests库**: Python中用于发送HTTP请求的一个简洁且易于使用的库。 3. **BeautifulSoup**: 一个可以从HTML或XML文件中提取数据...
python 爬虫学习：抓取智联招聘网站职位信息(一)
pxy1993的博客
08-01 7123
近期智联招聘的网站风格变化较快，这对于想爬取数据的人来说有些难受。因此，在前人基础上，我整理了针对智联招聘网站的最新结构进行数据抓取的代码，目前支持抓取职位搜索列表页面的列表项，并将职位列表以exlce表格保存在本地，职位明细页面的职位介绍等内容。下一步将对抓取的数据逐步进行分析处理。 本文用到开发工具为PyCharm，python使用的版本是3.7。引用的模块包含： import r...
PHP 爬取网页的主要方法
10-18
这对于只需要获取整个网页内容而不需要逐行处理的场景非常有用。使用此函数时需要注意，服务器配置中需要允许远程URL的打开，即php.ini中的allow_url_fopen设置为On。在处理中文字符时，可能会出现乱码问题，这时候...
Python获取招聘网站数据
07-10
通过Python获取拉勾网职位信息，仅供大家学习参考！
Python爬虫入门：如何爬取招聘网站并进行分析
06-13
python爬虫实操干货，一分钟了解全国行业工资水平，适合新手，数据抓取、清洗、结果分析一步到位，快快行动起来
Python爬虫：抓取智联招聘岗位信息和要求（进阶版）
weixin_49345590的博客
11-24 8353
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者：王强 ( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 ) 前言： 上一篇文章中我们已经抓取了智联招聘一些信息，但是那些对于找工作来说还是不够的，今天我们继续深入的抓取智联招聘信息并分析，本文使用到的第三方库很多，涉及到的内容也很繁杂，请耐心阅读
Python程序中配置代理信息示例
weixin_33971130的博客
03-18 415
requests #! -*- encoding:utf-8 -*- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标HTTPS页面 # targetUrl = ...
Python网络爬虫案例（二）——爬取招聘信息网站
weixin_30820077的博客
03-27 377
利用Python，爬取 51job 上面有关于 IT行业 的招聘信息 　　版权声明：未经博主授权，内容严禁分享转载　　 案例代码： # __author : "J" # date : 2018-03-07 import urllib.request import re import pymysql connection = pymysql....
python爬取招聘网站数据
weixin_42551921的博客
11-27 2000
# -*- coding: utf-8 -*- # 爬虫分析 from bs4 import BeautifulSoup from lxml import etree from selenium import webdriver import time from pymongo import MongoClient class WorkSpider: ...
Python爬虫实战，爬取某招聘网站数据并保存csv文件（附源码）
Everly_的博客
11-20 4518
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
如何用爬虫爬取招聘网站中的招聘信息
04-16
您好！感谢您的问题。关于爬取招聘网站中的招聘信息，可以参考以下步骤： 1. 了解网站的反爬机制，遵守爬取规则并尽量避免被封禁； 2. 选择合适的编程语言和爬虫框架，如Python和Scrapy； 3. 根据网站的HTML结构和页面布局，编写爬虫程序，使用XPath或正则表达式提取所需信息； 4. 处理数据并存储到数据库或文件中； 5. 可以使用数据可视化工具，对抓取到的数据进行分析和展示。 希望对您有所帮助！
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值