python爬取拉勾网（爬虫练习）

#按F12得到headers信息
request.Request可以添加headers信息

from urllib import request,parse

url="https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false"


#resp=request.urlopen(url)
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    'Referer': 'https://www.lagou.com/jobs/list_linux%E8%BF%90%E7%BB%B4/p-city_0?px=default'
}
data={
    'first':'true',
    'pn':1,   #第几页
    'kd':'linux运维'  #搜索关键词
}

req=request.Request(url,headers=headers,data=parse.urlencode(data).encode('utf-8'),
                    method='POST')

**#data参数（unicode类型）先变为url类型再bytes类型,(utf-8),用encode方法
#ps:bytes类型形如“b’{}'需要解码，用decode
#结果显示请求太频繁，误导信息
#需要伪造请求头,加referer

resp=request.urlopen(req)
print(resp.read().decode())

#结果显示请求太频繁，误导信息