本文章知识点参考《Python网络爬虫实例教程(视频讲解版)》
中国大学mooc平台 嵩天老师的《Python网络爬虫与信息提取》
以及网络上一些详细的知识点
https://www.cnblogs.com/lanyinhao/p/9634742.html
目录
一、爬虫基础
1.1 HTTP协议
1.1.1 HTTP协议的部分介绍
- HTTP:Hypertext Transfer Protocol , 超文本传输协议。
- HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。
- HTTP协议采用URL作为定位网络资源的标识,URL格式:http://host [ :port ] [ path ]。
- URL是通过HTTP协议存取资源的INnternet路径,一个URL对应一个数据资源
- host:合法的Internet主机域名或IP地址
- port:端口号,缺省端口为80
- path:请求资源的路径
1.1.2 HTTP协议对资源的操作
- GET:请求获取URL位置的资源
- HEAD:请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
- POST:请求向URL位置的资源后附加新的数据
- PUT:请求向URL位置存储一个资源,覆盖原URL位置的资源
- PATCH:请求局部更新URL位置的资源,即改变该处资源的部分内容
- DELETE:请求删除URL位置存储的资源
1.1.3 请求头部
部分服务器现在有反爬虫机制,单纯的使用gei方法得不到想要的信息,所以就需要构造请求头部,伪装成一个正常的浏览器进行访问。
以Chrome浏览器为例
按F12键或者单击鼠标右键选择检查打开开发者工具选择Network
然后打开一个网址或者刷新页面
右侧就会出现多条信息,我们选择第一条信息
我们就可以看到Response Headers的内容了
而在它的最下方我们就可以得到浏览器的用户代理信息(User Agent)
User-Agent:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36
这条信息我们后面会使用到
1.2 爬虫基础 -- Requests库入门
1.2.1 Requests简单介绍
import requests
# Requests库的主要方法
response = requests