Scrapy初次执行中的错误

最新推荐文章于 2022-10-18 16:13:53 发布

没入门的学渣

最新推荐文章于 2022-10-18 16:13:53 发布

阅读量380

点赞数

分类专栏： scrapy python

本文链接：https://blog.csdn.net/u014588597/article/details/51536097

版权

scrapy 同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

python

1 篇文章 0 订阅

订阅专栏

刚刚开始学习python，原本想下载最新的python版本3.5，但是看初级的辅导书知道3版本可能有一些并不支持。因此下载的是2.7版本的python（32位），这里请关注python的版本和位数。
为了方便下载python的各种包，建议下一下easy_install。在需要下载某个包时，在cmd中输入指令，easy_install XXX即可。

在开始第一个建议spider编写与执行时出现了：
（1）我的电脑上安装的是VS2013，经过了解编译时需要VC++9.0（会报出这个错误）。原来python会自动寻找VS2008，解决方法可以选择下载VS2008或者下载Microsoft VC++ Compiler for Python2.7，链接为： https://www.microsoft.com/en-us/download/details.aspx?id=44266

（2）缺少win32api。这里需要注意easy_install win32api是不存在的，需要自己下载，而下载的版本不符也会有问题。
一开始我下载了64为的win32api（注意python2.7的版本，不同版本的win32api也不同）。
在安装之前需要做的准备工作【这是从别人的博客中找来的】
保存为register.py

#
# script to register Python 2.0 or later for use with win32all
# and other extensions that require Python registry settings
#
# written by Joakim Loew for Secret Labs AB / PythonWare
#
# source:
# http://www.pythonware.com/products/works/articles/regpy20.htm
#
# modified by Valentine Gogichashvili as described in http://www.mail-archive.com/distutils-sig@python.org/msg10512.html

import sys

from _winreg import *

# tweak as necessary
version = sys.version[:3]
installpath = sys.prefix

regpath = "SOFTWARE\\Python\\Pythoncore\\%s\\" % (version)
installkey = "InstallPath"
pythonkey = "PythonPath"
pythonpath = "%s;%s\\Lib\\;%s\\DLLs\\" % (
    installpath, installpath, installpath
)

def RegisterPy():
    try:
        reg = OpenKey(HKEY_CURRENT_USER, regpath)
    except EnvironmentError as e:
        try:
            reg = CreateKey(HKEY_CURRENT_USER, regpath)
            SetValue(reg, installkey, REG_SZ, installpath)
            SetValue(reg, pythonkey, REG_SZ, pythonpath)
            CloseKey(reg)
        except:
            print "*** Unable to register!"
            return
        print "--- Python", version, "is now registered!"
        return
    if (QueryValue(reg, installkey) == installpath and
        QueryValue(reg, pythonkey) == pythonpath):
        CloseKey(reg)
        print "=== Python", version, "is already registered!"
        return
    CloseKey(reg)
    print "*** Unable to register!"
    print "*** You probably have another Python installation!"

if __name__ == "__main__":
    RegisterPy()

执行完毕本段代码后在执行win32api的安装

（3）如何查看自身python的安装位数？
如果你忘了安装的python位数，可以在cmd中输入命令python或者打开python内核就可以看到

CMD
由此可以看到我安装的是32位的python，版本为2.7.11

（4）可是再次执行scrapy爬虫时又会报出另一个错误：
ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。
在网上搜索了这个错误很多都是mysql python的安装位数不符，而我实际上并没有使用到mysql。原因在哪里？
错误确实是由于安装位数不符造成的，
这里写图片描述
从上面可以看出在import win32这个模块时产生的ImportError，所以是由win32api安装位数不符造成的。
这里如果想再次确认是不是这个模块安装不符，可以进入python中写入命令：
import XXX
如果回车后没有报出错误则说明该模块安装是正确的；如果有错误则会报出它。
网上好多都是64位，我在
https://sourceforge.net/projects/pywin32/?source=typ_redirect 中找到了符合我的32位win32api，python2.7可用。
各种版本的链接： https://sourceforge.net/projects/pywin32/files/pywin32/