Python网络数据采集读书笔记

1.网络爬虫

   • 通过网站域名获取 HTML 数据
   • 根据目标信息解析数据
   • 存储目标信息
   • 如果有必要，移动到另一个网页重复这个过程

2.每当你调用 BeautifulSoup 对象里的一个标签时，增加一个检查条件保证标签确实存在是很聪明的做法。

3.在写爬虫的时候，思考代码的总体格局，让代码既可以捕捉异常又容易阅读，这是很重要的。如果你还希望能够很大程度地重用代码，那么拥有像 getSiteHTML 和 getTitle 这样的通用函数（具有周密的异常处理功能）会让快速稳定地网络数据采集变得简单易行。

4.尤其是在面对埋藏很深或格式不友好的数据时，千万不要不经思考就写代码，一定要三思而后行。

5. .get_text() 会把你正在处理的 HTML 文档中所有的标签都清除，然后返回一个只包含文字的字符串。假如你正在处理一个包含许多超链接、段落和标签的大段源代码，那么 .get_text() 会把这些超链接、段落和标签都清除掉，只剩下一串不带标签的文字。

6.BeautifulSoup 里的 find() 和 findAll() 可能是你最常用的两个函数。借助它们，你可以通过标签的不同属性轻松地过滤 HTML 页面，查找需要的标签组或单个标签。

findAll(tag, attributes, recursive, text, limit, keywords)
find(tag, attributes, recursive, text, keywords)

标签参数 tag:可以传一个标签的名称或多个标签名称组成的 Python列表做标签参数。

 属性参数 attributes 是用一个 Python 字典封装一个标签的若干属性和对应的属性值。

递归参数 recursive 是一个布尔变量。如果recursive 设置为 True，findAll 就会根据你的要求去查找标签参数的所有子标签，以及子标签的子标签。如果 recursive 设置为 False，findAll 就只查找文档的一级标签。findAll默认是支持递归查找的（recursive 默认值是 True）；一般情况下这个参数不需要设置，除非你真正了解自己需要哪些信息，而且抓取速度非常重要，那时你可以设置递归参数。

文本参数 text 有点不同，它是用标签的文本内容去匹配，而不是用标签的属性。

范围限制参数 limit，显然只用于 findAll 方法。find 其实等价于 findAll 的 limit 等于1 时的情形。如果你只对网页中获取的前 x 项结果感兴趣，就可以设置它。但是要注意，这个参数设置之后，获得的前几项结果是按照网页上的顺序排序的，未必是你想要的那前几项。

关键词参数 keyword，可以让你选择那些具有指定属性的标签。

通过标签参数 tag 把标签列表传到 .findAll() 里获取一列标签，其实就是一个“或”关系的过滤器（即选择所有带标签 1 或标签 2 或标签 3……的一列标签）。如果你的标签列表很长，就需要花很长时间才能写完。而关键词参数 keyword 可以让你增加一个“与”关系的过滤器来简化工作。

7.对于一个标签对象，可以用下面的代码获取它的全部属性：myTag.attrs

8.遍历整个网站的网络数据采集有许多好处。

• 生成网站地图

• 收集数据

9.写网络爬虫的挑战之一是你经常需要不断地重复一些简单任务：找出页面上的所有链接，区分内链与外链，跳转到新的页面。

10.存储媒体文件有两种主要的方式：只获取文件 URL 链接，或者直接把源文件下载下来。

11.连接对象（conn）和光标对象（cur.

连接 / 光标模式是数据库编程中常用的模式，不过刚刚接触数据库的时候，有些用户很难区分两种模式的不同。连接模式除了要连接数据库之外，还要发送数据库信息，处理回滚操作（当一个查询或一组查询被中断时，数据库需要回到初始状态，一般用事务控制手段实现状态回滚），创建新的光标对象，等等。而一个连接可以有很多个光标。一个光标跟踪一种状态（state）信息，比如跟踪数据库的使用状态。如果你有多个数据库，且需要向所有数据库写内容，就需要多个光标来处理。光标还会包含最后一次查询执行的结果。通过调用光标函数，比如 cur.fetchone()，可以获取查询结果。

12.用完光标和连接之后，千万记得把它们关闭。如果不关闭就会导致连接泄漏（connection leak），造成一种未关闭连接现象，即连接已经不再使用，但是数据库却不能关闭，因为数据库不能确定你还要不要继续使用它。这种现象会一直耗费数据库的资源，所以用完数据库之后记得关闭连接！

13.NLTK 很擅长生成一些统计信息，包括对一段文字的单词数量、单词频率和单词词性的统计。用 NLTK 做统计分析一般是从 Text 对象开始的。