python爬虫基础知识
1.1 python网络爬虫实战介绍
爬虫:网页、客户端信息提取
认识爬虫、反爬虫、配置爬虫环境
1.2 认识爬虫![在这里插入图片描述](https://img-blog.csdnimg.cn/20210428102237695.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzUxNjgzMjU5,size_16,color_FFFFFF,t_70)
浏览器获取反应内容,从而获取网页数据
爬虫实际上是上述流程的模拟
网络爬虫:也称为网络蜘蛛、网络机器人,是一个自动下载网页的计算机程序或自动化脚本。
像一只蜘蛛在互联网上沿着URL的丝线爬行,下载每一个URL所指向的网页,分析页面内容。
分类:
1.通用网络爬虫
2.聚焦网络爬虫
3.增量式网络爬虫
合法性与robots协议
1.3 认识反爬虫
反爬虫的手段
总结:
1.4 爬虫环境设置
第二模块 网页前端基础
2.1 前端基础
概述
2.2 HTTP请求方法与过程
通讯过程:
1.请求方法
2.请求、响应
2.3 常见HTTP状态码
常见种类:
2.4 HTTP头部信息
2.5 认识cookie
2.6 小结