Python爬虫篇：爬虫笔记合集

目录

• • 前言
  • 一、获取数据地址信息
  • • 认识网址
    • 数据的区分
    • 抓包
  • 二、发送网络请求
  • • 伪装成客户端（浏览器，APP）
    • 请求头加密
    • 请求方式
  • 提取数据
  • • XPath 术语
    • • 节点（Node）
      • 基本值（或称原子值，Atomic value）
      • 项目（Item）
    • 节点关系
    • • 父（Parent）
      • 子（Children）
      • 同胞（Sibling）
      • 先辈（Ancestor）
      • 后代（Descendant）
    • XML 实例文档
    • 选取节点
    • • 下面列出了最有用的路径表达式：
      • 实例
    • 谓语（Predicates）
    • • 实例
    • 选取未知节点
    • • 实例
    • 选取若干路径
    • • 实例
    • XML 实例文档
    • XPath 轴
    • 位置路径表达式
    • • 绝对位置路径：
      • 相对位置路径：
      • 步（step）包括：
      • 步的语法：
      • 实例
    • XPath 运算符
    • XML实例文档
    • • “books.xml” :
    • 加载 XML 文档
    • 选取节点
    • 选取所有 title
  • 四、保存数据

前言

学习爬虫你完全可以理解为找辣条君借钱（借100万），首先如果想找辣条借钱那首先需要知道我的居住地址，然后想办法去到辣条的所在的（可以走路可以坐车），然后辣条身上的东西比较多，有100万，打火机，烟，手机衣服，需要从这些东西里面筛选出你需要的东西，拿到你想要的东西之后我们就可以去存钱，我们通过一个图片来理解爬虫的运行流程：

爬虫的流程至关重要，要是能把这个流程搞定那么爬虫的过程在你的脑海里就有基本的认知，可以说你的爬虫就已经学会20%了

一、获取数据地址信息

认识网址

首先我们先来认识所谓的网址，网址的高端叫法叫做‘统一资源定位符’，在互联网里面如果获取到数据都是通过网址来定位到的（就跟你找辣条借钱首先需要知道辣条目前所在的地址）那么每天都在用的网址到底是有什么特殊的含义呢？
网址有包含：协议部分、域名部分、文件名部分、参数部分
1、协议比较常见的就是http以及hettps
2、域名部分也就是我们说的服务器地址
3、文件名部分就是我们所需要的数据所在的