写在前面:
拉勾网数据爬取是一个蛮经典的爬虫案例 ,由于被频繁被爬取的原因 ,网站经过不断更新 ,加入了一些反爬技术 。例如:参数的加密 、AJAX异步加载JSON数据 。对于入门爬虫的新手来说 ,还是有一些困难 。这里用到selenium和post请求两种方式解析网页 ,希望可以帮到你们 。
分析网页:
这里我们以 数据分析 该职位为例 : 链接
数据在网页一般会分为两种加载方式 : 在原网页内与不在原网页内 。判断的方法可以复制网页内要爬取的一些数据 ,然后右击网页 ——查看源代码 , 看一看是否可以找到 。:
picture_1
按ctrl + f 输入复制的的数据发现并没有存在原网页内 。
那么可以推断出 , 我们要爬取的数据是通过AJAX异步加载JSON数据到网页的 。
那我们需要在网页后台找到那个json数据 ,我用的是chrom浏览器 ,右击 ——检查 :
picture_2
在picture_1中 选择 network --- XHR (如果没有数据的话,重新加载一下网页) ,可以在左边看到四个json链接 。因为我们要爬取的是职位 ,很快我们就可以确定目标url ,picture_3验证了准确性 :
picture_3
在picture_3中我们可以很清楚的看见这是一个json格式的数据 ,通过分析 ,可以找到数据在result下面 :
picture_4
通过对比picture_5发现就是我们要爬取的数据 。
picture_5
编写爬虫:
picture_6
下面我们构造headers :
my_headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
'Host':'www.lagou.com',
'Referer':'https://www.lagou.com/jobs/list_{}?labelWords=sug&fromSearch=true&suginput='.format(position_id),
'X-Anit-Forge-Code':'0',
'X-Anit-Forge-Token': 'None',
'X-Requested-With':'XMLHttpRequest'
}
其中的referer可以看到 ,我用format函数加入了一个参数 ,便于爬取不同城市的数据 , 如果你只打算爬取一个城市这里可以不加 ,只使用浏览器上带的参数 。
提交的 data:
my_data = {
'first': 'true',
'pn':num,
'kd':position
}
picture_7
从picture中可以看出需要post数据主要有三个 ,其中 pn:为页码数 ,kd:为职位名称 。因此 ,我将这两个参数的值设置为变量 num和position ,便于接下来的post页码和不同职位的实现 。
def get_json(url,num,position,position_id):
#print(position)
'''''从网页获取JSON,使用POST请求,加上头部信息'''
my_headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
'Host':'www.lagou.com',
'Referer':'https://www.lagou.com/jobs/list_{}?labelWords=sug&fromSearch=true&suginput='.format(position_id),
'X-Anit-Forge-Code':'0',
'X-Anit-Forge-Token': 'None',
'X-Requested-With':'XMLHttpRequest'
}
my_data = {
'first': 'true',
'pn':num,
'kd':position}
res = requests.post(url, headers = my_headers, data = my_data)
res.raise_for_status()
res.encoding = 'utf-8'
# 得到包含职位信息的字典
page = res.json()
return page
这是带headers和data完整的post请求 , 其中函数由四个参数 ,url为刚刚我们找出的那个链接 。num是页码 ,这里我们先设置为起始页码1 。position为职位名称 ,position_id为职位代号 。我们可以从headers的referen中看出 :https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=sug&fromSearch=true&suginput=shujufenxi 在list_到?中的职位名称被加密出现, 所以我构造了一个字典 :
def getCity():
return [
{"苏州":"%E8%8B%8F%E5%B7%9E"},
{"深圳":"%E6%B7%B1%E5%9C%B3"},
{"上海":"%E4%B8%8A%E6%B5%B7"},
{"杭州":"%E6%9D%AD%E5%B7%9E"},
{"南京":"%E5%8D%97%E4%BA%AC"},
]
def getLanguage():
return [
#"python",
{"数据分析":"%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90"},
{"图像处理":"%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86"},
{"":""},
{"":""},
{"":""},
]
将需要爬取的城市 、职位所对应的加密码一一对应 。
get_json函数返回了json数据 ,包括了职位总数 ,这样我们就可以构造一个函数 ,而且拉勾网 一页最多显示15个职位 ,计算出我们爬取职位的总页数了 。
def get_page_num(count):
'''''计算要抓取的页数'''
# 每页15个职位,向上取整
res = math.ceil(count/15)
# 拉勾网最多显示30页结果
if res > 30:
return 30
else:
return res
计算出页数之后 , 我们就可以通过一个循环 ,带着可变参数反复post数据:
for n in range(1,num+1):
# 对每个网页读取JSON, 获取每页数据
page = get_json(url,n,position,position_id)
try:
jobs_list = page['content']['positionResult']['result']
except:
continue
page_info = get_info_to_mongodb(jobs_list)
res_list.extend(page_info)
查看返回的结果 ,这里我通过构造一个含有dict的list便于存入mongodb ,看个人需求 :
picture_8.png
picture_9.png
通过看原网页的数据 , 我们发现数据已经被爬取先来了 一共19个职位 ,共分两页