python爬虫环境
前几天因为要在我的电脑上搭建爬虫环境,就在网上自己找教程学习,期间经历了无数坑。今天就把我自己的的经验给大家。
首先大家要清楚自己是python2还是python3这个后面再讲,后面这些所有讲的都是在python已安装的情况下讲的。并且将python加入到环境变量里.
首先第一步,安装lxml,下载地址https://pypi.python.org/pypi/lxml/3.3.1
win+R键进入cmd命令,将lxml下载,如果你是python2.7就下2.7版本,3.5就下3.5版本,然后后面会有win32和64版本,找对应版本。安装命令为pip install lxml +保存位置,
或者是在cmd命令下输入python -m pip install lxml。
第二步,安装twisted
可在cmd中用下载命令:python -m pip install Twisted。
第三步,安装setuptools
一般都已经安装了的,可在cmd中用 python -m pip list 查看是否已经安装,如果没安装,用下载命令:python -m pip install setuptools安装
第四步,安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口, 可在cmd中用下载命令:python -m pip install pyOpenSSL安装。
第五步,安装win32py
这个东西也找适合电脑版本和python版本的下,当exe安装,安装好之后,在cmd命令下输入python,进入python模式,再输入import win32
如果出现>>> 则说明安装成功。
最后一步,安装scrapy
在cmd中输入easy_install scrapy,即可。