Python爬虫学习

0：windows一般为gdk 而网页一般用utf-8
open()的encoding 编码为UTF-8

1：爬百度主页：
应用包
from urllib.request import urlopen

url="http://www.baidu.com"
resp=urlopen(url)##响应

resp.read()##响应b'是字节  要解码变成字符串  再字节里面看是什么类型数据UTF-8还是其他的
print(resp.read().decode("utf-8"))##运行的时候要把这个删了 不然存不了html
with open("mybaidu.html",mode="w") as f:
    f.write(resp.read().decode("utf-8"))##存盘html
print("over")

代码：
from urllib.request import urlopen

url = "http://www.baidu.com"
resp = urlopen(url)

with open("mybaidu.html",mode="w",encoding="utf-8") as f:
    f.write(resp.read().decode("utf-8"))

print("over")

2，web请求全剖析：
服务器渲染：输入“周杰伦”到百度，百度服务器那边把数据和html结合打包发回响应，能在页面源代码直接看到数据
客户端渲染：第一波请求响应&