python爬虫的一些高级应用小技巧

该博文会持续更新

session()

session.headers.update()
#注意，小括号中是字典的形式

urlencode()、urldecode()、quote()

urlencode函数，可以把key-value这样的键值对转换成我们想要的格式，返回的是a=1&b=2这样的字符串，比如：

import urllib.parse
values={}
values[‘username’]=‘01张三’
values[‘password’]=‘df123?’
url=“http://www.baidu.com”
data=urllib.parse.urlencode(values)
print(data)
结果如下：

username=01%E5%BC%A0%E4%B8%89&password