初识爬虫

爬虫：

• 自动抓取网络信息的一个程序或脚本

爬虫可以解决的问题：

• 解决冷启动问题
• 搜索引擎的根基：做搜索引擎少不了爬虫
• 建立知识图谱，帮助建立机器学习知识图谱
• 可以制作各种商品的比价软件，趋势分析
• 其他：比如分析淘宝上竞争对手的数据；分析微博的数据传递影响力；分析人与人之间的关系等

爬虫的分类

• 通用爬虫：就是将互联网上的页面整体爬取下来之后，保存到本地
• 聚焦爬虫：在实施网页抓取时对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息

搜索引擎

搜索引擎的主要组成：通用爬虫

通用爬虫要想爬取网页，需要网站的url.但是搜索引擎是可以搜索所有网页的。那么通用爬虫url就要涉及到所有网页，这个‘所有’是如何做到的？

• 新网站向搜索引擎主动提交网址
• 在其他网站上设置新网站外链
• 搜索引擎和DNS解析上合作，新网站域名将被迅速抓取

搜索引擎工作流程

• 抓取网页
  通过将待爬取的url加入到通用爬虫的url队列中，进行网页内容的抓取
• 数据存储
  将爬取下来的网页保存到本地。这个过程会有一定的去重操作，如果某个网页的内容大部分重复，搜索引擎可能不会保存
• 预处理
  提取文字
  中文分词
  消除噪音(版权声明文字、导航条、广告等)
  索引处理
• 设置网站排名，为用户提供检索服务

搜索引擎的局限性

• 搜索引擎只能爬取原网页，但是页面90%内容都是无用的
• 搜索引擎不能满足不同行业，不同员的特定需求
• 通用搜索引擎只能爬取文字信息，对于视频、文件、音频等其他信息无法爬取
• 只能基于关键字查询，无法基于语义查询

爬虫准备工作

• robots协议
  定义：网络爬虫排除标准
  作用：告诉搜索引擎哪些内容可以爬，哪些不能爬
• sitemap
  就是一个网站地图，可以指导我们查看该网页下有哪些内容
• 估算网站的大小
  在百度中输入：site:目标网站的地址
• 为了更好的了解网站，抓取该网站的信息，我们可以先了解一下该网站大致所使用的技术框架
  安装builtwith：pip install builtwith
  在python环境下输入：
  import builtwith
  Builtwith.parse(‘http://www.sina.com.cn’)
• 有时候我们需要知道网站的所有者是谁，这里在技术上有个简单的方法可以参考
  安装python-whois：pip install python-whois
  在python环境下输入：
  import whois
  Whois.whois(‘http://www.sina.com.cn’)

http
超文本传输协议，它是发布和接受html页面的规范
端口号：80
特点：

• 应用层协议
• 无连接
  每次请求都是独立的
  http1.1增加了一个Connection：keep-alive，这个头表示：客户端和服务端的连接是一个长连接
• 无状态
  客户端每次请求都不能记录请求状态，也就是两条请求之间无法通信
  cookie和session可以帮助记录状态
  https
  是安全版的http，在http下加入SSL层
  端口号：443

url：统一资源定位符

有三种特殊符号

• ？：后面加请求参数
• &：请求参数用&连接
• #：表示锚点，锚点就是在请求这个url时，页面会跳入锚点指定位置

基本格式：scheme://host[:port#]/path/…/[?query-string][#anchor]

• scheme:协议（例如：http，ftp）
• host:服务器的IP地址或者域名
• port:服务器的端口(如果是走协议默认端口，缺省端口80)
• path:访问资源的路径
• query-string:参数，发送给http服务器的数据
• anchor:锚(跳转到页面的指定锚点位置)

http工作过程

• 地址解析
  将url解析出对应的内容（基本格式）
• 封装http请求数据包
• 封装TCP包，建立TCP连接（TCP的三次握手）
• 客户端发送请求
• 服务器发送相应
• 服务器关闭TCP连接

当我们在浏览器输入一个url，为什么可以加载出一个页面？

• 1.当我们在浏览器输入一个url，客户端会发送这个url对应的一个请求到指定服务器获取内容
• 2.服务器接收这个请求，解析出对应的内容，之后将内容封装到响应里面发送给客户端
• 3.当客户端拿到这个页面，会查看这个页面中是否有css、js、image等url，如果有，在分别进行请求，获取到这些资源
• 4.客户端会通过html的语法，将获取到的所有内容完美的显示出来

客户端请求
组成：

• 请求行
• 请求头部
• 空行
• 请求数据

请求的方法：

• get
  从服务器上获取资源,通过请求参数来告诉服务器获取什么资源，写在url中，参数以？开始，多个参数使用&连接，不安全，反爬能力弱，传输参数大小受限
• post
  向服务器提供资源，数据封装在请求体中安全性比get高，可以传递更多的内容

重要的请求头：

• User-Agent:
  客户端请求标识

• Accept:
  允许传入的文件类型

• Referer:
  表明产生请求的网页来自于哪个URL，用户是从该Referer页面访问当前请求的页面

• cookie:
  在做登录的时候需要封装这个头

• Content-Tpye:
  POST数据类型

  发送POST请求时，需要特别注意headers的一些属性

  • Content-Length：144：指发送的表单数据长度为144，也就是字符串个数是144个
    X-Requested-With：XMLhttpRequest：表示Ajax异步请求

服务响应
组成：

• 状态行
• 响应头
• 空行
• 响应正文

重要响应头

• Content-Tpye：text/html;charset=UTF-8:告诉客户端，资源文件的类型，还有字符编码

状态码

• 100~199:表示服务器成功接收部分请求，要求客户端继续提交其余
• 200~299:表示服务器成功接收请求并已完成整个处理过程
• 300~399:为完成请求，客户需进一步细化请求
• 400~499:客户端的请求有错误
• 500~599:服务器端出现错误