Scrapy初次执行中的错误

原创 2016年05月30日 10:30:59

刚刚开始学习python,原本想下载最新的python版本3.5,但是看初级的辅导书知道3版本可能有一些并不支持。因此下载的是2.7版本的python(32位),这里请关注python的版本和位数。
为了方便下载python的各种包,建议下一下easy_install。在需要下载某个包时,在cmd中输入指令,easy_install XXX即可。

在开始第一个建议spider编写与执行时出现了:
(1)我的电脑上安装的是VS2013,经过了解编译时需要VC++9.0(会报出这个错误)。原来python会自动寻找VS2008,解决方法可以选择下载VS2008或者下载Microsoft VC++ Compiler for Python2.7,链接为: https://www.microsoft.com/en-us/download/details.aspx?id=44266

(2)缺少win32api。这里需要注意easy_install win32api是不存在的,需要自己下载,而下载的版本不符也会有问题。
一开始我下载了64为的win32api(注意python2.7的版本,不同版本的win32api也不同)。
在安装之前需要做的准备工作【这是从别人的博客中找来的】
保存为register.py

#
# script to register Python 2.0 or later for use with win32all
# and other extensions that require Python registry settings
#
# written by Joakim Loew for Secret Labs AB / PythonWare
#
# source:
# http://www.pythonware.com/products/works/articles/regpy20.htm
#
# modified by Valentine Gogichashvili as described in http://www.mail-archive.com/distutils-sig@python.org/msg10512.html

import sys

from _winreg import *

# tweak as necessary
version = sys.version[:3]
installpath = sys.prefix

regpath = "SOFTWARE\\Python\\Pythoncore\\%s\\" % (version)
installkey = "InstallPath"
pythonkey = "PythonPath"
pythonpath = "%s;%s\\Lib\\;%s\\DLLs\\" % (
    installpath, installpath, installpath
)

def RegisterPy():
    try:
        reg = OpenKey(HKEY_CURRENT_USER, regpath)
    except EnvironmentError as e:
        try:
            reg = CreateKey(HKEY_CURRENT_USER, regpath)
            SetValue(reg, installkey, REG_SZ, installpath)
            SetValue(reg, pythonkey, REG_SZ, pythonpath)
            CloseKey(reg)
        except:
            print "*** Unable to register!"
            return
        print "--- Python", version, "is now registered!"
        return
    if (QueryValue(reg, installkey) == installpath and
        QueryValue(reg, pythonkey) == pythonpath):
        CloseKey(reg)
        print "=== Python", version, "is already registered!"
        return
    CloseKey(reg)
    print "*** Unable to register!"
    print "*** You probably have another Python installation!"

if __name__ == "__main__":
    RegisterPy()

执行完毕本段代码后在执行win32api的安装

(3)如何查看自身python的安装位数?
如果你忘了安装的python位数,可以在cmd中输入命令python或者打开python内核就可以看到
内核
CMD
由此可以看到我安装的是32位的python,版本为2.7.11

(4)可是再次执行scrapy爬虫时又会报出另一个错误:
ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。
在网上搜索了这个错误很多都是mysql python的安装位数不符,而我实际上并没有使用到mysql。原因在哪里?
错误确实是由于安装位数不符造成的,
这里写图片描述
从上面可以看出在import win32这个模块时产生的ImportError,所以是由win32api安装位数不符造成的。
这里如果想再次确认是不是这个模块安装不符,可以进入python中写入命令:
import XXX
如果回车后没有报出错误则说明该模块安装是正确的;如果有错误则会报出它。
网上好多都是64位,我在
https://sourceforge.net/projects/pywin32/?source=typ_redirect 中找到了符合我的32位win32api,python2.7可用。
各种版本的链接: https://sourceforge.net/projects/pywin32/files/pywin32/

Python爬虫--Ubuntu14.04 上Scrapy的安装和错误处理

默认情况下,ubuntu 14.04中已安装了python2.7.6以及lxml, openssl 库,主要安装scrapy需要的其它包即可。 一. 安装过程 1.  sudo apt-get in...

Scrapy爬取百度股票时遇403错误的解决方法

用Scrapy爬取百度股票的单支股票信息时,遇到403拒绝访问错误,这应该是触发了反爬机制。 解决方法:通过尝试发现百度股票(http://gupiao.baidu.com)反爬机制是检测User-A...

Scrapy安装配置,在Pycharm中运行和no module named win32API错误

在安装Scrapy之前,我已装好了python2.7,pip和esay_install 一、安装Scrapy:首先在cmd转到放置pip.exe的目录,我的目录在C:\Python27\Scrip...

Scrapy 在Mac OSX 10.10 上安装错误的解决。Failed building wheel for lxml

Scrapy 在Mac OSX 10.10 上安装错误的解决Scrapy 是一个基于Python的爬虫框架。它简洁而跨平台,适合爬虫类软件的快速开发。 Scrapy的官方安装文档中给出的安...
  • ColdZoo
  • ColdZoo
  • 2015年05月27日 20:08
  • 2270

Python_Scrapy_6.错误与异常

看了一下官方教程的第二部分,发现用了异常处理机制.因为我的学习计划是围绕着项目进行了,天赋点不够用了就去打打挂提升下等级. 0.编程时会出现的错误和异常 0.代码本身的错误,也就是bug.比如 字...
  • dandd31
  • dandd31
  • 2015年06月14日 22:15
  • 669

scrapy开发三之开发过程中的那些经常性错误

Scrapy中的那些问题 最近写python时遇到了一些问题,网上也不好找,记下来以后要是忘了能够看看   问题一: from pharm import items 这句话出问题,canno...

scrapy爬虫之错误 No module named PIL + IOError:decoder jpeg not available +PIL的安装

Scrapy遇到错误,发现少一个包PIL。 PIL的下载地址。 tar zxvf Imaging-1.1.7.tar.gz cd Imaging-1.1.7 python setup.py inst...

初次使用Cadence错误总结

添加库时候后面没有写 tt,导致如下错误: 下图的信息可能是没有添加库,或者添加库后把窗口关掉了,所以每次打开仿真窗口都要重新添加库,正确添加库即可: 以下信息表示库的目录名填写错...
  • firsec1
  • firsec1
  • 2012年10月12日 10:46
  • 135

初次使用springboot错误(NoSuchMethodError: ...addServletMapping(Ljava/lang/String;Ljava)以及(ClassNotFound)

第一次使用springboot 发现 貌似这货与tomcat9不兼容,折磨了两天终于找到解决方法, 如果你也 跑不起来springboot,不妨来看看...

初次整合SSH时,遇到了org.springframework.beans.factory.BeanCreationException错误

初次整合SSH时,遇到了org.springframework.beans.factory.BeanCreationException错误,在网上找了很久,一般都说jar包冲突,或者路径错误,但都不能...
  • xf_fox
  • xf_fox
  • 2017年05月30日 22:03
  • 4760
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Scrapy初次执行中的错误
举报原因:
原因补充:

(最多只允许输入30个字)