学习笔记--我的第一个爬虫项目

    我花了2周的时间，从对Python相关知识一无所知，到成功写出第一个爬虫项目。Python语言真的很简单，不到两百行的代码写出了一个能够爬取百度百科相关词条的有关页面（页面的数量由你定）。我是在网站上学习的，因为有厉害的大神会分享源码以及教你怎么做。我是有C/C++基础的，学Python完全是因为看知乎上有一个很热门的话题“用Python爬虫可以做哪些很酷很有趣的事情？”。看了很多答主的回答，便对Python有了浓厚的兴趣。就像当年Ken Thompson做的第一个Unix核心一样，他当时也仅仅是为了移植一套《太空旅游》的游戏到他电脑上而已。。

    Python爬虫是一段自动抓取互联网信息的程序。以下是爬虫的简介与他的架构以及运行架构和价值。（图片来自慕课网）

爬虫主体分为三大部分，URL管理器，网页下载器以及网页分析器。在网页下载器上，我用的是urllib2模块，因为它是Python官方基础模块，我觉得刚学Python的话用这个就行了。网页解析器我用的是BS4。图片便于记忆，以下是贴图。