urllib3爬取网页源代码（爬虫）

程序注释内说明的很清楚，大家看注释就好了。

#成功运用urllib3爬取网页源代码，本来ua中只用了user-agent，返回的是百度的反爬嘲讽，之后把所有headers全加入ua，则成功侵入
import urllib3
from urllib.parse import urlencode
manager = urllib3.PoolManager()#相当于套接字的功能，让服务器与请求端进行交互
#指定url
url='https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&dyTabStr=MCwzLDIsNiwxLDQsNSw3LDgsOQ%3D%3D&word=%E4%BB%93%E9%BC%A0'
#设置请求头
ua={
"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"Accept-Encoding":"gzip, deflate, br",
"Accept-Language":"zh-CN,zh;q=0.9",
"Cache-Control":"max-age=0",
"Connection":"keep-alive",
"Cookie":"winWH=%5E6_1536x722; BDIMGISLOGIN=0; BIDUPSID=E13BF43F2E6123BE5A9421171ED470E5; PSTM=1633156200; __yjs_duid=1_c992e7eb62695c285914fe1d41b022501633165312820; BDUSS=jl5VEhGcXBsRFA3UG1tWExBUHRNYUNXNDB6eDVDU3o0SlZULUszc2IxMzZnUWRpRVFBQUFBJCQAAAAAAAAAAAEAAADFloSywM~Lvrv6v6qztbChZ28AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPr032H69N9hc; BDUSS_BFESS=jl5VEhGcXBsRFA3UG1tWExBUHRNYUNXNDB6eDVDU3o0SlZULUszc2IxMzZnUWRpRVFBQUFBJCQAAAAAAAAAAAEAAADFloSywM~Lvrv6v6qztbChZ28AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPr032H69N9hc; H_WISE_SIDS=107316_110085_127969_131862_132547_179347_184716_189037_189325_189755_190248_190627_191067_191247_191287_191371_192206_192387_193284_194085_194511_194520_194600_195038_195187_195342_196426_196514_197241_197470_197471_197478_197711_197782_197957_198265_198649_199023_199082_199176_199305_199440_199468_199490_199571_199598_199752_199845_200274_200349_200490_200743_201055_201107_201191_201328_201548_201554_201577_201581_201600_201701_201733_201947_201969_201978_201996_202059_202177_202283_202392_202476_202545_202553_202823_202915_202923_202969_203253_203520_203534_203576_203605_203688_203787; BAIDUID=BCB9B949EFF4B79A1AE6DF590C38F2BF:FG=1; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; MCITY=-%3A; H_PS_PSSID=31254_26350; BAIDUID_BFESS=BCB9B949EFF4B79A1AE6DF590C38F2BF:FG=1; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[tox4WRQ4-Km]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; ab_sr=1.0.1_Mzk0OTM2N2MxYTcyNzcxYjY4OWMwMzU2ZmYyZjE4MDg1MWQ5OGQ3NWM2MDI3MGNhZmM4NDkxMjZkOWE0MTQ4YjBlZGU3ZWE2ZGQ3YzVmZWE2MGQ4NjBiYjk4NTZkZjMzYjBhOTY0MDkyOWVhMGFlMjEzZTkwZDEwOTdmYzFjOWE2ZTY3ZTVlOTBhNGYzNDE2NTA1YWY1MGI2YmI3MTcxZWQxNzMxNjEwNzFkYTU0NzE0ODQwMWJjN2MyMWYxMTg5; delPer=0; PSINO=1; BA_HECTOR=ag2k212g2laha12g5d1h33j8u0q",
"Host":"image.baidu.com",
"Referer":"https://www.baidu.com/",
"sec-ch-ua-mobile":"?0",
"Sec-Fetch-Dest":"document",
"Sec-Fetch-Mode":"navigate",
"Sec-Fetch-Site":"same-origin",
"Sec-Fetch-User":"?1",
"Upgrade-Insecure-Requests":"1",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36",
}
#设置超时时间,一般为浮点数
tm=urllib3.Timeout(connect=1.0,read=3.0)
#设置重试次数并生成请求
rq=manager.request(method='GET',url=url,headers=ua,timeout=tm,retries=5,redirect=4)
#查看响应码
print('服务器返回的响应码为：',rq.status,'\n\n\n')
#查看获取的内容
rsdata=rq.data.decode('utf-8')#字节转字符串
print(rsdata)

设置请求头的那部分可能会有人不理解，首先我是只在字典里设置了user-agent，但是返回的却是：

所以这里肯定是因为baidu的一些反爬机制，导致我们仅仅用ua的话，是无法得到我们想要的东西的，所以我将全部的请求头全部复制下来，以此来尝试，成功得到数据

 复制下来过后还需要对这些进行一些修改，将此复制到一个pycharm的空py文件里，如图

按ctrl+R，注意，这里需要点击正则表达式键，输入下列

 点击全部替换，则变成下图，注意，下图中''后的空格全部需要删掉，而且粘贴到ua字典中后每行后面需要加逗号。

 全部代码都完工后可能程序会报错，我当时也遇到这个问题了，细心的小伙伴可能会发现，这个请求头里面的内容比上面的完整代码中的多一些，正是因为多余的才报错，我照报错提示删除后就成功运行了，希望对大家会有帮助。

 

更新：我上述讲的对ua内容的处理，其实改一下正则表达式就可以一步到位了，最后只需把最后一个逗号删去即可：

特此特别感谢B站一位UP主的教程，深得帮助：千叶羽hy