在Window下安装Scrapy

最新推荐文章于 2019-08-09 11:09:24 发布

跟派大星学编程

最新推荐文章于 2019-08-09 11:09:24 发布

阅读量603

点赞数 1

分类专栏： pyhton 工具使用文章标签：爬虫 Scrapy window Python 分布式爬虫

本文链接：https://blog.csdn.net/junmoxi/article/details/70519598

版权

工具使用同时被 2 个专栏收录

56 篇文章 1 订阅

订阅专栏

pyhton

8 篇文章 0 订阅

订阅专栏

一步一步来，完成好第一步再进行第二步，前几步如果已经完成可以直接跳过

1.安装Python2.7

2.安装 pywin32

3.安装 pip

这里不会安装pip的可以去我之前写的文章进行查看，地址：http://blog.csdn.net/junmoxi/article/details/63687785

4.安装一些必要的组件，都是pip进行安装
4.1pip install lxml

4.2pip install service_identity

4.3pip install pyOpenSSL

5 安装Scrapy

pip install Scrapy

验证是否成功：在cmd ，下直接输入 Scrapy 回车，如果有信息，则证明成功了！

注意：

1.如果出现Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat) 错误。。。则安装文件里的VCForPython27即可

2.安装pywin32时如果出现which not found register错误，

则新建一个文件register.py

输入代码：

import sys    
     
from _winreg import *    
     
# tweak as necessary     
version = sys.version[:3]    
installpath = sys.prefix    
     
regpath = "SOFTWARE\\Python\\Pythoncore\\%s\\" % (version)    
installkey = "InstallPath"    
pythonkey = "PythonPath"    
pythonpath = "%s;%s\\Lib\\;%s\\DLLs\\" % (    
    installpath, installpath, installpath    
)    
     
def RegisterPy():    
    try:    
        reg = OpenKey(HKEY_CURRENT_USER, regpath)    
    except EnvironmentError as e:    
        try:    
            reg = CreateKey(HKEY_CURRENT_USER, regpath)    
            SetValue(reg, installkey, REG_SZ, installpath)    
            SetValue(reg, pythonkey, REG_SZ, pythonpath)    
            CloseKey(reg)    
        except:    
            print "*** Unable to register!"    
            return    
        print "--- Python", version, "is now registered!"    
        return    
    if (QueryValue(reg, installkey) == installpath and    
        QueryValue(reg, pythonkey) == pythonpath):    
        CloseKey(reg)    
        print "=== Python", version, "is already registered!"    
        return    
    CloseKey(reg)    
    print "*** Unable to register!"    
    print "*** You probably have another Python installation!"    
     
if __name__ == "__main__":    
    RegisterPy()

然后将文件register.py 执行一下即可，cmd下输入：python register.py
3.运行爬虫时 scrapy crawl myspider 如果出现importerror dll load failed 1%不是有效的win32程序说明你的Python 和pywin32 不是同一位的在cmd下输入python查看你的Python是多少位的如果是32位的下载pywin32-219.win32-py2.7.exe安装即可

下载地址：https://sourceforge.net/projects/pywin32/?source=typ_redirect

附件：

上面的东西可以去我百度盘里下载下载：http://pan.baidu.com/s/1pLSAqmf

里面有使用步骤，也可以看我之前的帖子！