2020-08-15 拉勾网反爬破解

拉勾网是目前为止遇到的反爬最强的网站之一。

这里采用的是谷歌浏览器。

第一步

打开拉勾网，检查，输入java，找到如下图所示的地方。

第二步

找到

以及等会要用的cookie,这里你如果直接用下面这个cookie，你会被反爬的。

所以需要去尝试其他的cookie,让拉勾网认为你是第一次上这个网站。

第三步

清除浏览器缓存再去Headers里面你会找到多个cookie值，一个个的试试，我这儿是最后一个可以。

第四步

找到from data，里面的first第一页是true，后面的都是false

第五步

代码如下：

import requests
import time
def request_list_page():
    sid = ""
    # 获取所有的cookies
    cookie_response = requests.get('https://www.lagou.com/jobs/list_java?labelWords=&fromSearch=true&suginput=',
                                   headers={
                                       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'})
    print(cookie_response.cookies)
    # 遍历前20页，提取出前20页数据
    for page in range(1,20):
        url = "https://www.lagou.com/jobs/positionAjax.json?city=%E6%AD%A6%E6%B1%89&needAddtionalResult=false"
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36',
            'referer':'https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput='
        }
        if page == 1:
            data = {
                'first': 'true',
                'pn':'1',
                'kd': 'java'
            }
        else:
            data = {
                'first': 'false',
                'pn': str(page),
                'kd': 'java',
                'sid':sid
            }
        #获取cookies
        if page % 4 ==0:
            cookie_response = requests.get('https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',headers={
                                               'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'})
            print(cookie_response.cookies)
        time.sleep(3)
        response = requests.post(url=url, headers=headers,cookies=cookie_response.cookies,data=data)
        res = response.json()
        result = res['content']['positionResult']['result']
        for r in result:
            d = {
                'city': r['city'],
                'companyFullName': r['companyFullName'],
                'companySize': r['companySize'],
                'education': r['education'],
                'positionName': r['positionName'],
                'salary': r['salary'],
                'workYear': r['workYear']
            }
            print(d)
            with open('lagou.csv',mode='a+',encoding="utf-8") as f:
                f.write(",".join(list(d.values())))
                f.write('\n')

def main():
    request_list_page()


if __name__ == "__main__":
    main()