windows下 PyCharm安装scrapy

原创 2016年06月01日 16:18:03

scrapy安装

   一、python安装

         我安装的是python2.7.10,安装注意看看是否添加环境变量          python官方网址:http://www.scrapy.org/

   二、安装scrapy需要安装很多关联模块

        

         我一般选择到第三方模块库下载模块安装包或者直接pip install 模块名字  我感觉这两种方式比较简便

         python第三方库网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

              下载好的whl,名字不要改,只改后缀whl为zip,解压,不要后缀为-info的文件,其他的解压文件夹放到python安装路径下Lib文件夹下

       1、安装Twisted


          1) 安装setuptools

            我这里自带这个模块,可以通过import setuptools看是否出错,不出错说明你的python自带该模块

            

           安装方式:Download(python第三方库whl), build,pip install(easy_install), upgrade, and uninstall Python packages 

            官方主页:http://pypi.python.org/pypi/setuptools

          下载地址:http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe

      

         2、安装Zope.Interface

          

             安装方式:第三方库下载模块  pip install  upgrade, and uninstall Python packages

                      官方主页:http://pypi.python.org/pypi/zope.interface/

             下载地址:http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg


    

     3、安装Twisted  

          安装方式:第三方模块下载,pip  install,  官方下载   

         

       官方主页:http://twistedmatrix.com/trac/wiki/TwistedProject

       下载地址:http://pypi.python.org/packages/2.7/T/Twisted/Twisted-12.1.0.win32-py2.7.msi


 2、安装w3lib

      我这里自带该模块,如果没有自带

      安装方式:第三方模块下载 pip install  官方下载  

      官方主页:http://pypi.python.org/pypi/w3lib

     下载地址: http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz

      验证是否安装    pip   w3lib


  3、安装PyOpenSSL

     安装方式 第三方模块下载    pip  install  官方下载

     官方主页:http://pypi.python.org/pypi/pyOpenSSL

     下载地址:http://pypi.python.org/packages/2.7/p/pyOpenSSL/pyOpenSSL-0.13.winxp32-py2.7.msi

     验证安装    import OpenSSL


   4、安装libxml2

     这个模块安装较新的scrapy模块,会自动自动安装上

     官方主页:http://users.skynet.be/sbi/libxml-python/http://pypi.python.org/pypi/pyOpenSSL

     下载地址:http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe

      验证安装   import  libxml2

  5 、安装lxml

      我的自带这个模块,import一下看看是否自带该模块

  6、安装scrapy

    我刚开始用的pip install   安装,可能是安装的比较旧,使用的时候好多包导入出错,导入废弃包之类的

    后来重新下载了较新的scrapy包

    官方主页:http://scrapy.org/

    

 安装过程:

T:\Scrapy-0.14.4>python setup.py install
……

Installing easy_install-2.7-script.py script to D:\Python27\Scripts
Installing easy_install-2.7.exe script to D:\Python27\Scripts
Installing easy_install-2.7.exe.manifest script to D:\Python27\Scripts

Using d:\python27\lib\site-packages
Finished processing dependencies for Scrapy==0.14.4


T:\Scrapy-0.14.4>

 验证安装

T:\>scrapy
Scrapy 0.14.4 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command


T:\>




相关文章推荐

Windows 下 Python & PyCharm & Scrapy的安装和配置

Windows操作系统下Python的安装及环境变量配置,IDE PyCharm的安装,爬虫框架Scrapy的安装。...

用Pycharm打开Scrapy项目

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1 目...

Mac-pycharm下安装Scrapy的问题

由于python版本原因,所以我把scrapy安装在了python3.6的包目录下,先安装完预先用的其他包,经过一番努力终于安装成功: 后来发现运行scrapy startproject 仍然会报错...

Python实用工具包Scrapy安装教程

对于想用每个想用Python开发网络爬虫的开发者来说,Scrapy无疑是一个极好的开源工具。今天安装之后觉得Scrapy的安装确实不易啊。所以在此博文一篇,往后来着少走弯路。         废话不...

Win10环境Python3.6安装Scrapy1.4(好多坑)

最近刚刚开始学习Python,先看了一些Python爬虫技术的文章,其中很多人都提到了Scrapy框架,于是想安装学习一下,结果弄了好久,遇到了各种坑,找了各种方法,终于填完。写下此文,希望对后来的小...

Wiki——Windows下python2.7 爬虫框架Scrapy环境配置

Wiki——Windows下python2.7 爬虫框架Scrapy环境配置 一个快速,简单,易扩展的的开源爬虫框架。 Scrapy有非常成熟的介绍文档,国内的开发者也对文档进行了大量的翻译,还可以找...

scrapy遇到的常见错误-Unknown command: crawl

1、在cmd中输入scrapy crawl mySpider 提示如下 原因: 没有cd到项目根目录,因为crawl会去搜搜cmd目录下的scrapy.cfg 而且在官方文档中也说明了:htt...

pycharm 调试 scrapy

pycharm 调试 scrapy 问题:Unknown command: crawl

如何用PyCharm运行Scrapy

  • oLevin
  • oLevin
  • 2016年07月26日 21:09
  • 2399

pycharm下打开、执行并调试scrapy爬虫程序

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1    ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:windows下 PyCharm安装scrapy
举报原因:
原因补充:

(最多只允许输入30个字)