python中函数是一段子程序_python-21：爬取糗事百科段子--总结

好了，我们第一个实践的实例--爬取糗事百科段子，到这里就结束了

我们来看看我们做了什么

1. 我们花一个钟的时间把python的知识点过了一遍，对python有了一个基本的认识

2. 然后在python的几个发展大方向中我们选择了爬虫作为切入点

3. 为了编写爬虫，我们先是了解了爬虫的简单原理，然后从最简单的爬虫程序开始一步一步的注释，实现将网页源码爬取下来

4. 为了从源码中找出我们想要的数据，我们介绍了分析网页源码的方法和工具，加入了正则表达式的学习

5. 通过丑事百科的实例，将我们所学的知识点全部串联起来

重要的知识点总结：

1. 最简单的爬虫程序

整个流程是这样的

1. 导入 urllib2 库函数

2. 使用 Rquests 构造请求

3. 使用 urlopen 方法发送请求

4. 将网页源码读取并显示出来

不管是什么代码，都希望能常常敲一下，现在你可能看不出什么效果，但是后面你会发现你记得很牢

2. 分析网页的过程

熟悉你里浏览器，善用工具，在分析网页源码时注意总结规律

3. 正则表达式

基本上说记住 .*? 和 (.*?) 就好

从这个例子我们也可以知道一个爬虫的原理是什么了

爬虫就是通过程序模拟浏览器的行为，在我们打开网址的时候，浏览器和服务器之间的数据是通过发送请求，然后响应这样的形似来的，所以我们在代码中就要模拟这种行为，Rquests 是构造请求，urlopen 是发送请求，就这么简单

闲聊几句

今天是2015-12-01，学习python的第15天，这其中写文档找各种资料的时间比真正写代码的时间要长，但是还好，这一系列的东西直到现在还没有断，并且已经想好之后的很多内容了，我本身也是新手，只是因为要写这一系列的......额......姑且叫做博客吧，所以花费了一些时间在网上查找，但是收获到的比预想中的要多得多，也对学习的一个思路之类的有了更深的认识。我因为本身还有跟python爬虫不相关的本职工作要做，所以也没什么时间雕琢，不过以我的水平，估计再怎么雕琢也难出花来，而且这个基本是现学现卖，其中肯定有很多写得不到位的地方，等到有时间会重新整理