简单爬虫结构以及BeautifulSoup

1、URL管理器

管理待抓取的url集合和已抓取的URL集合，防止重复抓取、循环抓取添加新的url到待爬取集合中。然后，判断待添加url是否在容器中。
实现方式：
1、内存（内存可能不够用，不能永久储存）
—python内存—
待爬取的URL集合：set()
已爬取的URL集合：set()
set()可以直接取去除集合中重复的内容

2、关系数据库（能永久储存）
—MySQL—
urls(url, is_crawled)
用is_crawled来标志url是否已爬取，也就是说用一个表来存储待爬取和已爬取两个数据集合

3、缓存数据库（性能高）
—redis—
待爬取的URL集合：set
已爬取的URL集合：set

2、网页下载器

将互联网上url对应的网页下载到本地的工具
有以下几种网页下载器：
1、urllib2：官方基础模块
2、requests：第三方库

3、网页解析器

从网页中提取有价值数据的工具
有以下几种网页解析器：
1、正则表达式（模糊查询）
2、html.parser
3、lxml
4、BeautifulSoup(结构化解析)
结构化解析-DOM（Document Object Model）树

BeautifulSoup

Beautiful Soup 4.4.0 文档

1、结构化解析-DOM（Document Object Model）树

例如有以下节点：可以按照三种方式搜索

2、用法

• 首先创建BeautifulSoup对象：
  
• 搜索节点（find_all, attrs, string）
  
  class加了个下划线，是因为python中有class关键字，为防止冲突，bs的class加了下划线
• 访问节点信息