俗话说的好,“磨刀不误砍柴工”。要想学好网络爬虫,一个良好的环境配置是离不开的。下面,我将介绍一下python的安装以及后面将用到的各种库的安装
一.python的下载与安装
python分为2.x版本和3.x版本,基本上差不多,只是有一些差别,今后的文章中我都是用3.x版本,具体操作步骤如下:
1.下载地址:https://www.python.org/downloads/windows/
选择一个适合你电脑的3.x版本的进行下载(由于技术有限,后面讲述的都是基于window的)
2.安装:打开安装包进行安装即可
3.编辑器选择:python会自带一个编译器,当然你也可以自己用你喜欢的编译器,在这里,推荐几个我认为比较好的:pycharm, python(x,y),sublime
二.各种库的安装(具体详见:http://blog.csdn.net/qq_38329811/article/details/76825419 和 http://blog.csdn.net/qq_38329811/article/details/76683481)
python自带的标准库只有三个,但要想让其发挥更大的作用,安装更多的库是避免不了的,那么问题来了,怎么安装呢?下面我将以scrapy库的安装为例进行详细的介绍:
1.下载whl格式包进行简易下载:
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/
这种安装方法需要依赖一些环境:pywin32、pyOpenSSL、Twisted、lxml 和 zope.interface------具体安装方法另见我另一篇文章:
http://blog.csdn.net/qq_38329811/article/details/76825419
2.使用pip安装
执行命令:pip install scrapy