爬虫笔记（一）--爬虫基础

爬虫

概念

crawler，是一段自动化的从网上大批量获取数据的一段程序(千万级以上)
代替浏览器向服务器发送请求，然后从响应中获取数据

为什么需要爬虫

• 数据公司需要爬虫提供数据源
• 大数据，AI提供数据源
• 数据贩卖
• 搜索引擎需要爬虫采集数据
• 工资高

爬虫分类

• 通用爬虫(大而全)
  功能强大，采集面广，通常用于搜索引擎
• 聚焦爬虫/主题爬虫(小而精)
  功能单一，只针对某类特定的网站的特定内容进行爬取
• 增量式爬虫(只采集更新后的数据)
  通用和聚焦爬虫的一个分支

HTTP/HTTPS协议

• 用于www服务器向本地浏览器传输超文本的协议
• 提高了网络传输的效率
• 爬虫就是针对HTTP/HTTPS的请求响应
• HTTPS访问会加密，有HTTP就用HTTP

HTTP请求的方式

方法	说明
GET	请求获取URL位置的资源，明文形式携带数据，通过？进行拼接数据，不安全，大小有限制 ，高效
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据，密文形式携带数据(form表单形式提交)，相对安全，数据大小没有限制
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源（相比put更节省网络带宽）
DELETE	请求删除URL位置的资源

除get，post，head外都需要服务器权限

关于get和post大小限制:
两方法其实对提交数据大小没有限制，有限制的是服务器处理程序的能力

url构成

URL格式：http://host[:port][path]

• host:合法的internet主机域名地址
• port:端口号，省略为80
• path:请求资源的路径
• 参数部分
• 锚部分
• 虚拟目录部分
• 文件名部分

Robots与sitemap

• 来源审查：判断User—Agent进行限制，即检查来访HTTP协议头的User—Agent域，只响应浏览器或友好爬虫的访问
• 发布公告：Robots协议，告知所有爬虫网站的爬取策略，要求爬虫遵守

Robots协议

Robots Exclusion Standard网络爬虫排除标准
作用：告知网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt

*表示所有，/表示根目录，如果网站没有robots.txt那么允许所有爬虫无限制的爬取

Robots协议的使用

• 网络爬虫：自动或人工识别robots.txt，再进行内容爬取
• 约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险
• 类人行为可以不参考Robots协议

sitemap

会把网站的信息分布展示出来，使爬虫更快的访问全站

网页F12

Elemets

被浏览器渲染后的代码，真正看响应在Network里

Network

• All:服务器所有响应信息
• XHR:返回json串，通常ajax响应时看这
• JS:所有js文件
• CSS:所有css文件
• Img:所有图片
• Media:音频和视频流
• Font:字体
• Doc:响应的文本

---

Request Headers

• Accept：接受的类型
• Accept-Encoding：接受响应的编码
• Accept-Language：接受语言
• Cache-Control：缓存的存活时间，max-age=0为无限
• Connection：连接存活时间
• Cookie：保存用户相关信息，一般用于保持登录状态
• Host：主机
• Refer：从哪来
• User-Agent：用户系统及浏览器信息，用于身份认证

其余为不必要信息