初级：request获取网页HTML字符串的三个模板/zip()简介

直接获取：

from urllib import request
r=request.urlopen(url)#获取网页
htmls=r.read()#得到的是网页的字节码
htmls=str(htmls,encoding='utf-8')#转化成字符串

网页有反爬，多此请求会403，因此加入headers：

加入headers:

from urllib import request
headers={}#放入浏览器信息和cookies
page1=request.Request(url,headers=headers)#这里加入浏览器信息
r=request.urlopen(page1)#加入浏览器信息后再/获取网页
htmls=r.read()#得到的是网页的字节码
htmls=str(htmls,encoding='utf-8')#转化成字符串

有些网站返回来的字节码是压缩过的，在转换成字符串之前要解压：

解压：

from urllib import request
from io import BytesIO
import gzip
headers={}
page1=request.Request(url,headers=headers)#这里加入浏览器信息
r=request.urlopen(page1)#加入浏览器信息后再/获取网页
htmls=r.read()#得到的是网页的字节码

buff=BytesIO(htmls)
f=gzip.GzipFile(fileobj=buff)
htmls=f.read().decode('utf-8')#数据被压缩过，我们要对数据进行处理。

 

 

 

zip()里面放入多个迭代对象，用for in同时遍历多个迭代对象

for tree,cloud in zip(trees,clouds):

对应元素可以同时被遍历，解决for in 嵌套来遍历对应元素的愚蠢操作