Notebook 爬虫

https://www.bilibili.com/video/BV177411j7qJ?p=1

1.1 计划时间

计划11.26之前完成本次Python入门的学习

1.2 项目介绍

1.3 项目环境准备

Notebook

命令行操作以下内容，
pip install notebook
jupyter notebook
jupyter notebook --generate-config

按esc 变蓝色 按h 有快捷键帮助

爬虫

from urllib import request

url = "http://www.baidu.com"
res = request.urlopen(url) # 获取响应

print(res.info()) # 响应头
print(res.getcode()) # 状态码2xx 3xx 4xx
print(res.geturl())  # 返回响应地址

from urllib import request
# 添加header信息 ，这是最基本的反爬虫措施
url = "http://www.dianping.com"
header = {
        "User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"
}
req = request.Request(url,headers=header)
res = request.urlopen(req) # 获取响应

print(res.info()) # 响应头
print(res.getcode()) # 状态码2xx 3xx 4xx
print(res.geturl())  # 返回响应地址

使用beautisoup4