Python爬虫入门——百度百科词条数据

1.爬虫的简介和价值

• 爬虫： 一段自动抓取互联网信息的程序
• 价值：互联网数据，为我所用
• 可以应用到：新闻聚合阅读器、最爆笑的故事APP、最漂亮美女图片网、图书价格对比网、Python技术文章大全等等。

2.URL管理器

URL管理器：管理待抓取URL集合和已抓取URL集合

实现方式

1. 内存
   • Python内存
   • 待爬取URL集合：set()
   • 已爬取URL集合：set()
2. 关系数据库
   • MySQL
   • urls(url, is_crawled)
3. 缓存数据库
   • redis
   • 待爬取URL集合：set
   • 已爬取URL集合：set

3.网页下载器

网页下载器：将互联网上URL对应的网页下载到本地的工具

实现方法：Python中 urllib2 模块(python2)或 urllib.request模块(python3)

4.网页解析器

网页解析器：从网页中提取有价值数据的工具