Python爬虫系列-51job爬虫（一）

最新推荐文章于 2024-08-01 11:20:11 发布

孙老师的数据分析课

最新推荐文章于 2024-08-01 11:20:11 发布

阅读量1.1k

点赞数

分类专栏： Python数据分析系列文章标签： Python爬虫数据分析

转载请申请，侵权必究！

本文链接：https://blog.csdn.net/binsun1102/article/details/79397416

版权

Python数据分析系列专栏收录该内容

3 篇文章 0 订阅

订阅专栏

需求：

前段时间有位朋友需要爬取51Job
提取“公司”名称带有“数据分析”的招聘信息
希望这些信息能保存起来以便分析

代码如下：

'''
准备工作
安装request
安装lxml
安装命令：pip install xxx
'''

# 导入一些工具包
import requests
from lxml import etree
from pandas import DataFrame

#确定一个对象，网址,关键词：数据分析
url='http://search.51job.com/list/010000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590,2,1.html'
res=requests.get(url)
res.encoding='gbk'
#定义节点树的根
root=etree.HTML(res.text)
#利用xpath查找网页信息
position=root.xpath('//div[@class="el"]/p/span/a/@title')
company=root.xpath('//div[@class="el"]/span/a/@title')
place=root.xpath('//div[@class="el"]/span[@class="t3"]/text()')
salary=root.xpath('//div[@class="el"]/span[@class="t4"]/text()')
#隶属于Pandas，数据框，类似于Excel
jobInfo=DataFrame([position,company,place,salary]).T
jobInfo.columns=['职位名','公司名','工作地点','薪资']
jobInfo.head(10)