urllib

一、url详解：

• scheme：访问的协议，一般为http或https

• host：主机名，域名，比如www.baidu.com

• port：端口号，当你访问一个网站的时候，浏览器默认使用80端口

• path：查找路径 ，比如https://mp.csdn.net/console/editor/html，后面的console/editor/html就是path

• query-string：查询字符串，比如https://www.baidu.com/s?wd=肖战，后边的wd参数就是字符串

二、urllib库常用函数

1.urlopen库：获取网站源码内容

from urllib import request
#获取指定网站所有源码内容
res = request.urlopen('https://www.icourse163.org/')
print(res.read())

其他常见用法

#获取前10个字符
print(res.read(10))
#获取第一行的内容
print(res.readline())
#获取多行内容
print(res.readlines())
#获取状态码
print(res.getcode())

 

2.urlretrieve函数：下载指定网址的内容

第一个参数为url，第二个参数为下载地址，默认的下载到当前目录，比如下载一个照片

from urllib import request

request.urlretrieve('https://dss2.bdstatic.com/6Ot1bjeh1BF3odCf/it/u=2320120826,3181275089&fm=74&app=80&f=JPEG&size=f121,140sec=1880279984&t=5428e3026a526af4fb0713898d0abd7b',
'xiaozhan.jpg')

3.urlencode函数：当浏览器发送的请求的时候，url里如果包含中文，就要对其进行编码

例1：含有中文的字典的编码转换：

from urllib import parse

params = {'name':'吕布','gender':'male'}
result = parse.urlencode(params)
print(result)

例2：对浏览器进行搜索的url传入中文参数

比如百度搜索肖战，url是

https://www.baidu.com/s?wd=肖战，但是直接运行urlopen会报错，因为“肖战”不是ASCII形式，此时就需要编码

 

4.parse_qs函数：可以把ASCII解码成中文

from urllib import parse
params = {'name':'吕布','gender':'male'}
temp = parse.urlencode(params)#编码
result = parse.parse_qs(temp)#解码
print(result)

5.urlparse和urlsplit

 

6.request的Request类——爬取拉勾网信息

爬取某些网站的时候如果不构造Request类，直接用urlopen获取网站内容，就会被识别出来，返回假的资源，比如拉勾网，此时就可以先构造一个Request类，模仿客户端去访问.

首先获得访问的url即是浏览器搜索栏里的网址，以及User-Agent作为headers,User-Agent可以在打开网站的时候选择开发者工具的Network里边找到

from urllib import request

url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116Safari/537.36'
}
req = request.Request(url,headers = headers)
res = request.urlopen(req)
print(res.read())

但是通过查看网址源代码也可看出职位信息并不在源代码HTML中，而是通过其他的url利用js嵌入到HTML中的，此时需要找到这个请求，通过寻找可知positionAjax里的Response内容是求职信息，通过General可知请求的url以及请求方式为POST

 在request headers中可以得到referer，以及Form Data，是需要我们自己构造，添加到请求里的

from urllib import request,parse

#url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
headers = {
    'Host':'www.lagou.com',
    'Origin':'https://www.lagou.com',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36',
    'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'X-Anit-Forge-Code':'0',
    'X-Anit-Forge-Token': 'None',
    'X-Requested-With': 'XMLHttpRequest'
}
data = {
    'first':'true',
    'pn':'1',
    'kd':'python'
}
req = request.Request(url,headers = headers,data=parse.urlencode(data).encode('utf-8'),method='POST')
res = request.urlopen(req)
print(res.read().decode('utf-8'))