爬虫
概念
crawler,是一段自动化的从网上大批量获取数据的一段程序(千万级以上)
代替浏览器向服务器发送请求,然后从响应中获取数据
为什么需要爬虫
- 数据公司需要爬虫提供数据源
- 大数据,AI提供数据源
- 数据贩卖
- 搜索引擎需要爬虫采集数据
- 工资高
爬虫分类
- 通用爬虫(大而全)
功能强大,采集面广,通常用于搜索引擎 - 聚焦爬虫/主题爬虫(小而精)
功能单一,只针对某类特定的网站的特定内容进行爬取 - 增量式爬虫(只采集更新后的数据)
通用和聚焦爬虫的一个分支
HTTP/HTTPS协议
- 用于www服务器向本地浏览器传输超文本的协议
- 提高了网络传输的效率
- 爬虫就是针对HTTP/HTTPS的请求响应
- HTTPS访问会加密,有HTTP就用HTTP
HTTP请求的方式
方法 | 说明 |
---|---|
GET | 请求获取URL位置的资源,明文形式携带数据,通过?进行拼接数据,不安全,大小有限制 ,高效 |
HEAD | 请求获取URL位置资源的响应消息报告,即获得该资源的头部信息 |
POST | 请求向URL位置的资源后附加新的数据,密文形式携带数据(form表单形式提交),相对安全,数据大小没有限制 |
PUT | 请求向URL位置存储一个资源,覆盖原URL位置的资源 |
PATCH | 请求局部更新URL位置的资源(相比put更节省网络带宽) |
DELETE | 请求删除URL位置的资源 |
除get,post,head外都需要服务器权限
关于get和post大小限制:
两方法其实对提交数据大小没有限制,有限制的是服务器处理程序的能力
url构成
URL格式:http://host[:port][path]
- host:合法的internet主机域名地址
- port:端口号,省略为80
- path:请求资源的路径
- 参数部分
- 锚部分
- 虚拟目录部分
- 文件名部分
Robots与sitemap
- 来源审查:判断User—Agent进行限制,即检查来访HTTP协议头的User—Agent域,只响应浏览器或友好爬虫的访问
- 发布公告:Robots协议,告知所有爬虫网站的爬取策略,要求爬虫遵守
Robots协议
Robots Exclusion Standard网络爬虫排除标准
作用:告知网站告知网络爬虫哪些页面可以抓取,哪些不行
形式:在网站根目录下的robots.txt
*表示所有,/表示根目录,如果网站没有robots.txt那么允许所有爬虫无限制的爬取
Robots协议的使用
- 网络爬虫:自动或人工识别robots.txt,再进行内容爬取
- 约束性:Robots协议是建议但非约束性,网络爬虫可以不遵守,但存在法律风险
- 类人行为可以不参考Robots协议
sitemap
会把网站的信息分布展示出来,使爬虫更快的访问全站
网页F12
Elemets
被浏览器渲染后的代码,真正看响应在Network里
Network
- All:服务器所有响应信息
- XHR:返回json串,通常ajax响应时看这
- JS:所有js文件
- CSS:所有css文件
- Img:所有图片
- Media:音频和视频流
- Font:字体
- Doc:响应的文本
Request Headers
- Accept:接受的类型
- Accept-Encoding:接受响应的编码
- Accept-Language:接受语言
- Cache-Control:缓存的存活时间,max-age=0为无限
- Connection:连接存活时间
- Cookie:保存用户相关信息,一般用于保持登录状态
- Host:主机
- Refer:从哪来
- User-Agent:用户系统及浏览器信息,用于身份认证
其余为不必要信息