Python网络数据采集学习笔记1

学习笔记

第一章 初识网络爬虫

使用的python版本 python3.5，解析的库是BeautifulSoup、lxml 。

如果系统中的python只有一个版本，安装好python控制包pip，然后安装依赖包
安装方式为：

pip install BeautifulSoup lxml

如果系统中存在两种版本的python，那么安装命令为：

python3.5 -m pip install BeautifulSoup lxml

这里假设需要安装到python 3.5上。

---

第二章 复杂的HTML解析

1. 网络数据采集就是要从众多的信息中不断的筛选我们所关心的数据。
2. 解析不友好的网站数据，一定要三思而后行。

BeautifulSoup

1. BeautifulSoup的 find() 和 findAll()。
   find() 查到的是单个标签
   findAll() 查到的是所有的标签列表

2. BeautifulSoup的对象

   • BeautifulSoup对象
   • 标签Tag对象
   • NavigableString对象
   • Comment对象

3. 导航树

   • 子标签和后代标签
   • 兄弟标签
   • 父标签

4. 正则表达式

5. 获得全部属性
   myTag.attrs 可以获得tag的全部数据