python笔记-爬虫-02

python笔记

URL

scheme://host:port/path/?query-string*xxx#anchor

• scheme：访问协议 http、https、ftp等
• host：主机名，域名 www.baidu.com
• port：端口号。访问网址的时候，浏览器默认是80
• path：查找路径
• query-string：查询字符串
• anchor：锚点，后台不用管，前端用来做定位的

请求方法
http请求方法
常见的请求方法：GET, POST 和 HEAD方法。
请求头常见参数：

• User-Agent：默认是python
• Referer： 表示你是从哪个页面过来的（反爬虫机制）
• Cookie：同一个人发送两次操作，服务器是不能识别的，可以记录在cookie里，一般要登陆才能访问的网站，就需要cookie信息了

常见的响应状态码：

HTTP状态码

• 200：请求正常，正常返回数据
• 301： 永久重定向
• 302：临时重定向
• 400：请求的 URL 在服务器傻瓜找不到（URL错误）
• 403：服务器拒绝访问，权限不够。
• 500：服务器内部错误，可能是服务器出现了 BUG

抓包工具：
Fiddler