Scrapy初次执行中的错误

原创 2016年05月30日 10:30:59

刚刚开始学习python,原本想下载最新的python版本3.5,但是看初级的辅导书知道3版本可能有一些并不支持。因此下载的是2.7版本的python(32位),这里请关注python的版本和位数。
为了方便下载python的各种包,建议下一下easy_install。在需要下载某个包时,在cmd中输入指令,easy_install XXX即可。

在开始第一个建议spider编写与执行时出现了:
(1)我的电脑上安装的是VS2013,经过了解编译时需要VC++9.0(会报出这个错误)。原来python会自动寻找VS2008,解决方法可以选择下载VS2008或者下载Microsoft VC++ Compiler for Python2.7,链接为: https://www.microsoft.com/en-us/download/details.aspx?id=44266

(2)缺少win32api。这里需要注意easy_install win32api是不存在的,需要自己下载,而下载的版本不符也会有问题。
一开始我下载了64为的win32api(注意python2.7的版本,不同版本的win32api也不同)。
在安装之前需要做的准备工作【这是从别人的博客中找来的】
保存为register.py

#
# script to register Python 2.0 or later for use with win32all
# and other extensions that require Python registry settings
#
# written by Joakim Loew for Secret Labs AB / PythonWare
#
# source:
# http://www.pythonware.com/products/works/articles/regpy20.htm
#
# modified by Valentine Gogichashvili as described in http://www.mail-archive.com/distutils-sig@python.org/msg10512.html

import sys

from _winreg import *

# tweak as necessary
version = sys.version[:3]
installpath = sys.prefix

regpath = "SOFTWARE\\Python\\Pythoncore\\%s\\" % (version)
installkey = "InstallPath"
pythonkey = "PythonPath"
pythonpath = "%s;%s\\Lib\\;%s\\DLLs\\" % (
    installpath, installpath, installpath
)

def RegisterPy():
    try:
        reg = OpenKey(HKEY_CURRENT_USER, regpath)
    except EnvironmentError as e:
        try:
            reg = CreateKey(HKEY_CURRENT_USER, regpath)
            SetValue(reg, installkey, REG_SZ, installpath)
            SetValue(reg, pythonkey, REG_SZ, pythonpath)
            CloseKey(reg)
        except:
            print "*** Unable to register!"
            return
        print "--- Python", version, "is now registered!"
        return
    if (QueryValue(reg, installkey) == installpath and
        QueryValue(reg, pythonkey) == pythonpath):
        CloseKey(reg)
        print "=== Python", version, "is already registered!"
        return
    CloseKey(reg)
    print "*** Unable to register!"
    print "*** You probably have another Python installation!"

if __name__ == "__main__":
    RegisterPy()

执行完毕本段代码后在执行win32api的安装

(3)如何查看自身python的安装位数?
如果你忘了安装的python位数,可以在cmd中输入命令python或者打开python内核就可以看到
内核
CMD
由此可以看到我安装的是32位的python,版本为2.7.11

(4)可是再次执行scrapy爬虫时又会报出另一个错误:
ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。
在网上搜索了这个错误很多都是mysql python的安装位数不符,而我实际上并没有使用到mysql。原因在哪里?
错误确实是由于安装位数不符造成的,
这里写图片描述
从上面可以看出在import win32这个模块时产生的ImportError,所以是由win32api安装位数不符造成的。
这里如果想再次确认是不是这个模块安装不符,可以进入python中写入命令:
import XXX
如果回车后没有报出错误则说明该模块安装是正确的;如果有错误则会报出它。
网上好多都是64位,我在
https://sourceforge.net/projects/pywin32/?source=typ_redirect 中找到了符合我的32位win32api,python2.7可用。
各种版本的链接: https://sourceforge.net/projects/pywin32/files/pywin32/

scrapy执行过程中出现的错误分析

本人使用:python2.7.12 + Scrapy1.0.3    今天在搞scrapy的过程中,出现了下面这种坑爹的错误,找了好久没找到,中间换了好几个Scrapy的版本,还是出错,,发现有个大...
  • You_are_my_dream
  • You_are_my_dream
  • 2017年03月01日 13:55
  • 356

scrapy捕获爬取失败的url

scrapy捕获爬取失败的url,返回任务状态
  • lemeon
  • lemeon
  • 2016年05月03日 17:16
  • 1301

Scrapy webkit 获取js代码执行结果后再抓取

现在页面用ajax的越来越多, 好多代码是通过js执行结果显示在页面的, 所以在scrapy抓取过程中就需要通过一个中间件来执行这个js代码,  这个可以通过scrapy webkit来完成. ...
  • zzllabcd
  • zzllabcd
  • 2014年03月17日 17:06
  • 11664

scrapy使用时的一些错误及解决方法

最近,想用爬虫在网上爬点数据下来,因此粗略的学习了一下scrapy。网上这方便的资料有很多,在这里就不一一贴出来了,大家可以自行去查找。在这里我只想介绍下我遇到的一些问题和解决方法。 第一个,安...
  • Sunshine_in_Moon
  • Sunshine_in_Moon
  • 2016年04月26日 14:30
  • 8360

Pycharm中执行scrapy命令

当你检查scrapy二进制文件时,你会注意到这么一段python script#!/usr/bin/pythonfrom scrapy.cmdline import execute execute()...
  • a1961613299
  • a1961613299
  • 2016年03月16日 16:59
  • 5023

探讨scrapy当中的pipeline何时获取item。

问题来自于在运行spider过程中,pipeline当中写入的数据库存储过程始终得不到item传递的数据,经调试,发现了pipeline被调用的机制。   写一段代码来测试:   spider.py:...
  • wu47165
  • wu47165
  • 2017年09月21日 14:41
  • 158

python3 scrapy startproject报错解决

在ubuntu使用scrapy 新建项目是报错 简单的看了一下,只能了解大致意思,PermissionError:许可错误。Permission denied:没有权限。 不过凑到一起还是一脸...
  • katyusha1
  • katyusha1
  • 2017年11月25日 22:42
  • 141

用Scrapy shell调试xpath

昨日一道友问我会不会用scrapy shell检查xpath,我表示没搞过,都是直接在代码里硬怼,尴尬。然而其实也没什么难的,在这记录一下方法。首先还是安利一下国内翻译的scrapy文档,虽然最新的翻...
  • qq_30242609
  • qq_30242609
  • 2017年01月17日 11:44
  • 5255

python.scrapy 之crawlall命令执行所有的spiders

#!/usr/local/bin/python2.7 # -*- coding: utf-8 -*- # encoding=UTF-8 ''' Created on 2014年11月5日 @autho...
  • q1596948728
  • q1596948728
  • 2014年11月25日 17:20
  • 1100

scrapy爬取网页内容出现“gbk”出错的编码问题解决方案

编码问题 问题描述:UnicodeEncodeError: 'gbk' codec can't encode character 'xa0' in position ... 使用Python写文件...
  • hu77700021
  • hu77700021
  • 2017年10月26日 00:11
  • 282
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Scrapy初次执行中的错误
举报原因:
原因补充:

(最多只允许输入30个字)