关闭

windows下 PyCharm安装scrapy

1863人阅读 评论(0) 收藏 举报
分类:

scrapy安装

   一、python安装

         我安装的是python2.7.10,安装注意看看是否添加环境变量          python官方网址:http://www.scrapy.org/

   二、安装scrapy需要安装很多关联模块

        

         我一般选择到第三方模块库下载模块安装包或者直接pip install 模块名字  我感觉这两种方式比较简便

         python第三方库网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

              下载好的whl,名字不要改,只改后缀whl为zip,解压,不要后缀为-info的文件,其他的解压文件夹放到python安装路径下Lib文件夹下

       1、安装Twisted


          1) 安装setuptools

            我这里自带这个模块,可以通过import setuptools看是否出错,不出错说明你的python自带该模块

            

           安装方式:Download(python第三方库whl), build,pip install(easy_install), upgrade, and uninstall Python packages 

            官方主页:http://pypi.python.org/pypi/setuptools

          下载地址:http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe

      

         2、安装Zope.Interface

          

             安装方式:第三方库下载模块  pip install  upgrade, and uninstall Python packages

                      官方主页:http://pypi.python.org/pypi/zope.interface/

             下载地址:http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg


    

     3、安装Twisted  

          安装方式:第三方模块下载,pip  install,  官方下载   

         

       官方主页:http://twistedmatrix.com/trac/wiki/TwistedProject

       下载地址:http://pypi.python.org/packages/2.7/T/Twisted/Twisted-12.1.0.win32-py2.7.msi


 2、安装w3lib

      我这里自带该模块,如果没有自带

      安装方式:第三方模块下载 pip install  官方下载  

      官方主页:http://pypi.python.org/pypi/w3lib

     下载地址: http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz

      验证是否安装    pip   w3lib


  3、安装PyOpenSSL

     安装方式 第三方模块下载    pip  install  官方下载

     官方主页:http://pypi.python.org/pypi/pyOpenSSL

     下载地址:http://pypi.python.org/packages/2.7/p/pyOpenSSL/pyOpenSSL-0.13.winxp32-py2.7.msi

     验证安装    import OpenSSL


   4、安装libxml2

     这个模块安装较新的scrapy模块,会自动自动安装上

     官方主页:http://users.skynet.be/sbi/libxml-python/http://pypi.python.org/pypi/pyOpenSSL

     下载地址:http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe

      验证安装   import  libxml2

  5 、安装lxml

      我的自带这个模块,import一下看看是否自带该模块

  6、安装scrapy

    我刚开始用的pip install   安装,可能是安装的比较旧,使用的时候好多包导入出错,导入废弃包之类的

    后来重新下载了较新的scrapy包

    官方主页:http://scrapy.org/

    

 安装过程:

T:\Scrapy-0.14.4>python setup.py install
……

Installing easy_install-2.7-script.py script to D:\Python27\Scripts
Installing easy_install-2.7.exe script to D:\Python27\Scripts
Installing easy_install-2.7.exe.manifest script to D:\Python27\Scripts

Using d:\python27\lib\site-packages
Finished processing dependencies for Scrapy==0.14.4


T:\Scrapy-0.14.4>

 验证安装

T:\>scrapy
Scrapy 0.14.4 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command


T:\>




0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:24538次
    • 积分:460
    • 等级:
    • 排名:千里之外
    • 原创:20篇
    • 转载:16篇
    • 译文:0篇
    • 评论:2条
    文章分类
    最新评论