import urllib.request headers={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36" } req=urllib.request.Request(url="https://www.baidu.com",headers=headers) response=urllib.request.urlopen(req) with open("yourBaidu2.html",mode="w") as f: f.write(response.read().decode("utf-8")) print("over") """urlopen返回的数据是把那边的数据直接和html拼一起,然后返回,(服务器渲染)在页面源代码中看得到数据""" """客户端渲染:第一次请求只是一个html骨架,第二次情求拿到(json)数据(我们找到第二次请求的url就可以拿到这个数据),在页面源代码中看不到数据展示,当浏览器(客户端)去渲染时就是把这俩拼一起渲染出网页。 有些网页是客户端渲染,有些是服务器端渲染"""
python爬虫入门之urllib模拟浏览器
于 2023-09-24 02:49:20 首次发布