一、url详解:
-
scheme:访问的协议,一般为http或https
-
host:主机名,域名,比如www.baidu.com
-
port:端口号,当你访问一个网站的时候,浏览器默认使用80端口
-
path:查找路径 ,比如https://mp.csdn.net/console/editor/html,后面的console/editor/html就是path
- query-string:查询字符串,比如https://www.baidu.com/s?wd=肖战,后边的wd参数就是字符串
二、urllib库常用函数
1.urlopen库:获取网站源码内容
from urllib import request
#获取指定网站所有源码内容
res = request.urlopen('https://www.icourse163.org/')
print(res.read())
其他常见用法
#获取前10个字符
print(res.read(10))
#获取第一行的内容
print(res.readline())
#获取多行内容
print(res.readlines())
#获取状态码
print(res.getcode())
2.urlretrieve函数:下载指定网址的内容
第一个参数为url,第二个参数为下载地址,默认的下载到当前目录,比如下载一个照片
from urllib import request
request.urlretrieve('https://dss2.bdstatic.com/6Ot1bjeh1BF3odCf/it/u=2320120826,3181275089&fm=74&app=80&f=JPEG&size=f121,140sec=1880279984&t=5428e3026a526af4fb0713898d0abd7b',
'xiaozhan.jpg')
3.urlencode函数:当浏览器发送的请求的时候,url里如果包含中文,就要对其进行编码
例1:含有中文的字典的编码转换:
from urllib import parse
params = {'name':'吕布','gender':'male'}
result = parse.urlencode(params)
print(result)
例2:对浏览器进行搜索的url传入中文参数
比如百度搜索肖战,url是
https://www.baidu.com/s?wd=肖战,但是直接运行urlopen会报错,因为“肖战”不是ASCII形式,此时就需要编码
4.parse_qs函数:可以把ASCII解码成中文
from urllib import parse
params = {'name':'吕布','gender':'male'}
temp = parse.urlencode(params)#编码
result = parse.parse_qs(temp)#解码
print(result)
5.urlparse和urlsplit
6.request的Request类——爬取拉勾网信息
爬取某些网站的时候如果不构造Request类,直接用urlopen获取网站内容,就会被识别出来,返回假的资源,比如拉勾网,此时就可以先构造一个Request类,模仿客户端去访问.
首先获得访问的url即是浏览器搜索栏里的网址,以及User-Agent作为headers,User-Agent可以在打开网站的时候选择开发者工具的Network里边找到
from urllib import request
url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116Safari/537.36'
}
req = request.Request(url,headers = headers)
res = request.urlopen(req)
print(res.read())
但是通过查看网址源代码也可看出职位信息并不在源代码HTML中,而是通过其他的url利用js嵌入到HTML中的,此时需要找到这个请求,通过寻找可知positionAjax里的Response内容是求职信息,通过General可知请求的url以及请求方式为POST
在request headers中可以得到referer,以及Form Data,是需要我们自己构造,添加到请求里的
from urllib import request,parse
#url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
headers = {
'Host':'www.lagou.com',
'Origin':'https://www.lagou.com',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36',
'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-origin',
'X-Anit-Forge-Code':'0',
'X-Anit-Forge-Token': 'None',
'X-Requested-With': 'XMLHttpRequest'
}
data = {
'first':'true',
'pn':'1',
'kd':'python'
}
req = request.Request(url,headers = headers,data=parse.urlencode(data).encode('utf-8'),method='POST')
res = request.urlopen(req)
print(res.read().decode('utf-8'))