windows下 PyCharm安装scrapy

原创 2016年06月01日 16:18:03

scrapy安装

   一、python安装

         我安装的是python2.7.10,安装注意看看是否添加环境变量          python官方网址:http://www.scrapy.org/

   二、安装scrapy需要安装很多关联模块

        

         我一般选择到第三方模块库下载模块安装包或者直接pip install 模块名字  我感觉这两种方式比较简便

         python第三方库网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

              下载好的whl,名字不要改,只改后缀whl为zip,解压,不要后缀为-info的文件,其他的解压文件夹放到python安装路径下Lib文件夹下

       1、安装Twisted


          1) 安装setuptools

            我这里自带这个模块,可以通过import setuptools看是否出错,不出错说明你的python自带该模块

            

           安装方式:Download(python第三方库whl), build,pip install(easy_install), upgrade, and uninstall Python packages 

            官方主页:http://pypi.python.org/pypi/setuptools

          下载地址:http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe

      

         2、安装Zope.Interface

          

             安装方式:第三方库下载模块  pip install  upgrade, and uninstall Python packages

                      官方主页:http://pypi.python.org/pypi/zope.interface/

             下载地址:http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg


    

     3、安装Twisted  

          安装方式:第三方模块下载,pip  install,  官方下载   

         

       官方主页:http://twistedmatrix.com/trac/wiki/TwistedProject

       下载地址:http://pypi.python.org/packages/2.7/T/Twisted/Twisted-12.1.0.win32-py2.7.msi


 2、安装w3lib

      我这里自带该模块,如果没有自带

      安装方式:第三方模块下载 pip install  官方下载  

      官方主页:http://pypi.python.org/pypi/w3lib

     下载地址: http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz

      验证是否安装    pip   w3lib


  3、安装PyOpenSSL

     安装方式 第三方模块下载    pip  install  官方下载

     官方主页:http://pypi.python.org/pypi/pyOpenSSL

     下载地址:http://pypi.python.org/packages/2.7/p/pyOpenSSL/pyOpenSSL-0.13.winxp32-py2.7.msi

     验证安装    import OpenSSL


   4、安装libxml2

     这个模块安装较新的scrapy模块,会自动自动安装上

     官方主页:http://users.skynet.be/sbi/libxml-python/http://pypi.python.org/pypi/pyOpenSSL

     下载地址:http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe

      验证安装   import  libxml2

  5 、安装lxml

      我的自带这个模块,import一下看看是否自带该模块

  6、安装scrapy

    我刚开始用的pip install   安装,可能是安装的比较旧,使用的时候好多包导入出错,导入废弃包之类的

    后来重新下载了较新的scrapy包

    官方主页:http://scrapy.org/

    

 安装过程:

T:\Scrapy-0.14.4>python setup.py install
……

Installing easy_install-2.7-script.py script to D:\Python27\Scripts
Installing easy_install-2.7.exe script to D:\Python27\Scripts
Installing easy_install-2.7.exe.manifest script to D:\Python27\Scripts

Using d:\python27\lib\site-packages
Finished processing dependencies for Scrapy==0.14.4


T:\Scrapy-0.14.4>

 验证安装

T:\>scrapy
Scrapy 0.14.4 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command


T:\>




python安装twisted遇到的问题

今天在用pip安装wisted模块的时候没有任何的问题,但是当使用的时候发生了,无法导入win32api这个包,原因是因为python不能自己去使用系统的api。因此需要去安装pywin32模块。安装...
  • yj1499945
  • yj1499945
  • 2016年01月10日 15:46
  • 2721

Windows 下 Python & PyCharm & Scrapy的安装和配置

Windows操作系统下Python的安装及环境变量配置,IDE PyCharm的安装,爬虫框架Scrapy的安装。...
  • HOMEGREAT
  • HOMEGREAT
  • 2016年05月22日 01:47
  • 3348

用Pycharm打开Scrapy项目

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1 目...
  • wangsidadehao
  • wangsidadehao
  • 2016年10月24日 15:03
  • 12142

Mac-pycharm下安装Scrapy的问题

由于python版本原因,所以我把scrapy安装在了python3.6的包目录下,先安装完预先用的其他包,经过一番努力终于安装成功: 后来发现运行scrapy startproject 仍然会报错...
  • u013703139
  • u013703139
  • 2017年05月30日 09:15
  • 850

pycharm 调试 scrapy

pycharm 调试 scrapy 问题:Unknown command: crawl
  • shijichao2
  • shijichao2
  • 2017年03月13日 23:54
  • 3736

Pycharm中执行scrapy命令

当你检查scrapy二进制文件时,你会注意到这么一段python script#!/usr/bin/pythonfrom scrapy.cmdline import execute execute()...
  • a1961613299
  • a1961613299
  • 2016年03月16日 16:59
  • 4628

如何用PyCharm运行Scrapy

  • oLevin
  • oLevin
  • 2016年07月26日 21:09
  • 2917

pycharm下打开、执行并调试scrapy爬虫程序

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1    ...
  • u012052268
  • u012052268
  • 2017年05月14日 20:34
  • 4643

pycharm 下调试 scrapy

(1) 用pycharm导入scrapy项目 (2)选择自己编写的scrapy,run一下 (3)点击菜单栏的run ,选择Edit Configurations。 (4)选择运行的spider...
  • u013378306
  • u013378306
  • 2016年12月27日 09:25
  • 3062

PyCharm 教程(七)管理解释器及第三方模块、包

pycharm可以很方便的管理Python的解释器(如果安装了多个的话),以及第三方模块,包。它会自动连接pypi,去获取当前该模块的最新版本号。 具体步骤是:     【File】-->【Setti...
  • chenggong2dm
  • chenggong2dm
  • 2016年03月16日 17:21
  • 29154
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:windows下 PyCharm安装scrapy
举报原因:
原因补充:

(最多只允许输入30个字)