慕课网项目：Python开发简单爬虫学习笔记

课程链接Python开发简单爬虫

 

0.必要说明

我的java版本1.8，python版本3.6，eclipse版本4.5，BeautfilSoup版本4。

视频中用到的python版本2.7。

有几个坑需要注意：

• python3.6不支持urllib2。而是换位：urllib。
• 百度百科页面模式变了，所以我们爬的话需要改变策略。

1.爬虫简介 

爬虫：一段自动抓取互联网信息的程序 互联网由各种各样的网页组成，每个网页都有对应的url。一个Url上又能指向其他url。这种url之间相互的指向关系，就形成了一个网状。爬虫是设置了主体，设置了目标自动从互联网上获取我们需要的数据。它可以从一个url出发，到达所有与他相关的url。并且从每个页面提取出我们需要的数据也就是说，他是自动访问互联网并且提取数据的程序。

爬虫价值？互联网信息，为我所用！

eg.新闻聚合阅读器，最爆笑故事app，图书价格对比，技术大全。

2.简单爬虫架构 

爬虫调度端（启动爬虫，停止爬虫，监事爬虫运行情况

爬虫：

 

• URL管理器：对将要爬取的url和已经爬取过的url进行管理。从中可以我们可以取出一个带爬取的url，传送给网页下载器。
• 网页下载器：会将指定的网页下载下载存储成一个字符串。这个字符串回传送给网页解析器。
• 网页解析器：会解析出有价值的数据；该页面被解析出的url将被补充进URL管理器。

运行流程：