python爬虫需要用的库实在是太多,如果不熟悉尤其是新手安装各种库会令你抓狂,花上几个小时,最后把学习兴趣磨灭掉,在这里我就写我安装过程中出现的问题以及解决方法,不定时更新。
下文默认你已经安装好python跟PyCharm,就不再叙述,我自己是用WIN7 64位,下文也是针对WiN7 64位展开
WIN64位慎玩Pyspider!!!!!!WIN64位慎玩Pyspider!!!!!!WIN64位慎玩Pyspider!!!!!!
对于我来说最方便安装库是用PyCharm,点file-----settings----Project Interpreter------+号--------搜索你想要的库-------install package 等待安装完毕,快捷方便
但是有些库是Pycharm没有的,这时候只能用最传统的方法了,使用pip安装,详细教程:安装pip
安装好pip后,就在你的cmd输入pip install xxxxx(xxxxx是你要安装的库名字)
如果一路成功的话,是不会有红色error出现,有successful出现的!
但是有时候用pip安装库一直报错误,我们可以用手动安装,官方下载库一般有.whl跟.rar结尾的,它们两个下载到本地后都可以解压,我只用.rar介绍一下(.whl不大懂)
比如:手动安装lxml解压下载的zip包
进入有setup.py 的目录 ,用windows的cmd
先执行 python setup.py build
然后执行 python setup.py install
如果不出什么问题,提示安装成功
以上就是3种安装库的小方法
开始说我根据知乎python爬虫大神所需要的库安装时候所遇到的问题
1、Selenium库安装,PyCharm是没有这个库的,直接pip install selenium就可以安装了,但是我结合Firefox浏览器执行实例代码
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('http://www.baidu.com/')
只能自动打开浏览器,却不能自己输入网址,搜了一下,问题是Selenium库安装跟Firefox浏览器不兼容,浏览器更新很快,库跟不上,所以大家安装火狐浏览器可以选择早期版本
2、Pyspider下载,同样Pycharm没有,直接pip install Pysider,一直不成功,看了错误信息说是缺少lxml,好吧,那就安装lxml,同样用pip不成功,只能手动了,去https://pypi.python.org/simple/lxml/下载合适自己的系统安装成功才能安装Pyspider
好了,今天想起来的坑暂时到这里,相信后面坑会更多,不定时更新吧
3、果然!WIN64位慎玩Pyspider!!!!!!能用了,但是一旦调试就挂掉,搜索了都是WIN64出现这样问题
作者文档都写成这样了,只好先投降了