第一天
这个博客为B站爬虫实战教程的笔记,我按照学习天数来记录。
一.手刃一个小爬虫
(参考“小爬虫案例.py”)
需求:用程序模拟浏览器,输入一个网址,从该网址中获取到资源和内容。
from urllib.request import urlopen
url = "http://www.baidu.com"
resp = urlopen(url)
print(resp.read().decode("utf-8"))
实际上对于响应返回的东西输出发现,“ b’ ”代表的是字节,"charset=utf-8"代表编码方式是utf-8,所以我们还需要在解码的时候进行处理。
from urllib.request import urlopen
url = "http://www.baidu.com"
resp = urlopen(url)
#解码——注意看解码方式
print(resp.read().decode("utf-8"))
#存储文件
with open("mybaidu.html",mode="w") as f:
f.write(resp.read().decode("utf-8"))