python-34:极视界爬虫总结

2019独角兽企业重金招聘Python工程师标准>>>

我们的第二个例子到这里也要结束了，相对于第一个来说，这个实例更加深入，涉及到了更多的模块和方法，但是通过一步步的实践下来，你会发现这其实不难，因为我们有很多的网上的资源，你只要知道你想要做什么，你不清楚什么然后一个一个的去查就行了，这是一种获取知识的方法，方法远比知识重要，我希望大家能在拿到一个实例，一道题目，一个项目或者遇到什么问题之前，先想清楚，把大的问题分成一个个小的问题，然后解决小问题，最后再汇总成大问题的解决方案

好了，来看看我们第二个实例用到了什么新的知识
    1. 为了创建保存图片的文件夹，我们引入了 os 模块
        os 模块能让我们使用计算机系统中的一些命令
    2. 为了实现图片下载的功能，我们引入了 urllib 模块
        跟 urllib2 一样，urllib 是 python 自带的一个模块，它能被调用来实现某些功能
        
既然讲到这里，那我们就来说说 python 中的模块
模块是 python 中的一个很重要的概念，如果感兴趣的话，可以去查看 python 的官方文档：http://python.usyiyi.cn/python_278/tutorial/index.html
这里顺便推荐一些我使用的书籍和网站，书籍会放到网盘中并且不断更新
1. python 中文官方文档库：http://python.usyiyi.cn/
1. python 中文官方教程：http://python.usyiyi.cn/python_278/tutorial/index.html
2. 菜鸟教程网：http://www.runoob.com/python/python-tutorial.html
3. 廖雪峰python教程：http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000
4. 书籍网盘链接：

这是我常用到的一些网站，主要用来查看python的一些基础语法，或者是一些知识概念我不是很理解的时候加深学习，有时也会作为一些拓展给有兴趣的人看，后面的学习肯定也会遇到一些好的网站，到时候我会一一贴出来
    
说回模块，这里我依然不想把教程里的概念搬出来，里面的东西讲得很拗口，一些专业术语会给我们的理解带来困难，我最多看10行就看不下去了，而且我觉得现在还不是时候，我们目前只需要知道我要实现什么东西，为了实现这个，我需要用到什么模块，所以用我的话来说，模块是一个能让你实现某些功能的工具集。
就拿urllib2这个模块来说，这个模块能让我实现爬取网络资源的功能，它的实现的方式是我要调用这个模块里面的一些方法，比如使用urllib2.Rquest() 方法来构造请求，使用 urllib2.urlopen() 来发送请求打开网页，这每一个方法都是一个工具，能让我实现不同的功能，所以说，这整个模块就是一个工具集

python 中的模块是非常多而且全面的，python程序实际上就是使用各种模块来实现自己想要的功能，曾经看到过一句话，大意是说，python之所以那么好用，就是由很多的模块支撑起来的，所以学python不学习这些模块的使用，相当与白学。

关于各个模块，python都会有相应的文档，包括模块的功能，里面的方法，使用的例子等等，这些完善的社区和线上资源是学习python很好的工具，大家应该多尝试学习这些文档

到目前为止，我们使用到的模块有4个，正则表达式模块 re，系统模块 os，网络模块 urllib 和 urllib2
re 和 os 模块我们这里不做过多的描述，我们主要讲一下爬虫的核心 urllib 和 urllib2 模块

转载于:https://my.oschina.net/u/2429887/blog/537750