网络爬虫笔记--02

这是一篇学习笔记，看了一点嵩天教授的Python网络爬虫与信息提取课程，又看了datawhale给的代码例子，把学习要点列在这里

2.1 Beautiful Soup库入门

1. 学习beautifulsoup基础知识。
2. 使用beautifulsoup解析HTML页面。
   • Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。
   • 它基于HTML DOM 的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。
   • BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持 lxml 的 XML解析器。
   • 虽然说BeautifulSoup4 简单容易比较上手，但是匹配效率还是远远不如正则以及xpath的，一般不推荐使用，推荐正则的使用。

• 第一步：pip install beautifulsoup4 ，万事开头难，先安装 beautifulsoup4，安装成功后就完成了第一步。
• 第二步：导入from bs4 import BeautifulSoup
• 第三步：创建 Beautiful Soup对象 soup = BeautifulSoup(html，'html.parser')

2.1.1 Beautiful Soup库的基本元素

1. Beautiful Soup库的理解： Beautiful Soup库是解析、遍历、维护“标签树”的功能库，对应一个HTML/XML文档的全部内容
2. BeautifulSoup类的基本元素:
   • Tag 标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾；
   • Name 标签的名字，<p>…</p>的名字是'p'，格式：<tag>.name;
   • Attributes 标签的属性，字典形式组织，格式：<tag>.attrs;
   • NavigableString 标签内非属性字符串，<>…</>中字符串，格式：<tag>.string;
   • Comment 标签内字符串的注释部分，一种特殊的Comment类型;

2.1.2 基于bs4库的HTML内容遍历方法

HTML基本格式:<>…</>构成了所属关系，形成了标签的树形结构

• 标签树的下行遍历
  • .contents 子节点的列表，将<tag>所有儿子节点存入列表
  • .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
  • .descendants 子孙节点的迭代类型，包含所有子孙节点，用于循环遍历
• 标签树的上行遍
  • .parent 节点的父亲标签
  • .parents 节点先辈标签的迭代类型，用于循环遍历先辈节点
• 标签树的平行遍历
  • .next_sibling 返回按照HTML文本顺序的下一个平行节点标签
  • .previous_sibling 返回按照HTML文本顺序的上一个平行节点标签
  • .next_siblings 迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
  • .previous_siblings 迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

2.1.3 基于bs4库的HTML内容的查找方法

• <>.find_all(name, attrs, recursive, string, **kwargs)
  • 参数：
  • ∙ name : 对标签名称的检索字符串
  • ∙ attrs: 对标签属性值的检索字符串，可标注属性检索
  • ∙ recursive: 是否对子孙全部检索，默认True
  • ∙ string: <>…</>中字符串区域的检索字符串
    • 简写：
    • <tag>(..) 等价于 <tag>.find_all(..)
    • soup(..) 等价于 soup.find_all(..)
• 扩展方法：
  • <>.find() 搜索且只返回一个结果，同.find_all()参数
  • <>.find_parents() 在先辈节点中搜索，返回列表类型，同.find_all()参数
  • <>.find_parent() 在先辈节点中返回一个结果，同.find()参数
  • <>.find_next_siblings() 在后续平行节点中搜索，返回列表类型，同.find_all()参数
  • <>.find_next_sibling() 在后续平行节点中返回一个结果，同.find()参数
  • <>.find_previous_siblings() 在前序平行节点中搜索，返回列表类型，同.find_all()参数
  • <>.find_previous_sibling() 在前序平行节点中返回一个结果，同.find()参数

2.1.4 实战：中国大学排名定向爬取

• 爬取url：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html
• 爬取思路：
  1. 从网络上获取大学排名网页内容
  2. 提取网页内容中信息到合适的数据结构（二维数组）-排名，学校名称，总分
  3. 利用数据结构展示并输出结果