编写爬虫遇到的问题总结

1，编码问题：设置文件编码格式utf-8

1. 出现问题的原因：程序中的编码错误，python默认是acii模式，没有支持utf8，代码的第3行中出现了“年 月 日”这几个汉字，所以出现了错误。

   
2. 2

     解决方法：源代码文件第一行添加：#coding:utf-8，这样就可以避免了。参考下图。

   步骤阅读
3. 3

      也可以改为，在第一行增加：#-*- coding: UTF-8 -*- 。

2.连接超时：异常或者设置timeout

问题描述：

    没有设置timeout参数，结果在网络环境不好的情况下，时常出现read()方法没有任何反应的问题，程序卡死在read()方法里，搞了大半天，才找到问题，给urlopen加上timeout就ok了，设置了timeout之后超时之后read超时的时候会抛出socket.timeout异常，想要程序稳定，还需要给urlopen加上异常处理，再加上出现异常重试，程序就完美了。

import urllib2 url='http://www.facebook.com/' fails = 0 while True: try: if fails >= 20: break req = urllib2.Request(url) response = urllib2.urlopen(req, None, 3) page = response.read() except: fails += 1 print '网络连接出现问题, 正在尝试再次请求: ', fails else: break

解决方案：

    有时候我们在爬取网络数据时，会因为对方网速缓慢、服务器超时等原因， 导致 urllib2.urlopen() 之后的 read()操作（下载内容）卡死，要解决这个问题方法有如下几个：

1、为urlopen设置可选参数 timeout

import urllib2
# http://classweb.loxa.com.tw/dino123/air/P1000772.jpg
r = urllib2.Request("http://classweb.loxa.com.tw/dino123/air/P1000775.jpg")
try:
        print 111111111111111111
        f = urllib2.urlopen(r, data=None, timeout=3)
        print 2222222222222222
        result =  f.read()
        print 333333333333333333
except Exception,e:
        print "444444444444444444---------" + str(e)

print "55555555555555"

2、设置全局的socket超时：

import socket
socket.setdefaulttimeout(10.0) 
或者使用：httplib2 or timeout_urllib2
http://code.google.com/p/httplib2/wiki/Examples
http://code.google.com/p/timeout-urllib2/source/browse/trunk/timeout_urllib2.py

3、使用定时器 timer

from urllib2 import urlopen
from threading import Timer
url = "http://www.python.org"
def handler(fh):
        fh.close()
fh = urlopen(url)
t = Timer(20.0, handler,[fh])
t.start()
data = fh.read()    #如果二进制文件需要换成二进制的读取方式
t.cancel()

我的的的urllib2的的urlopen内。

urllib2.urlopen(' CodeGo.net  timeout=1)

我该如何告诉Python，如果到期应提高一个自定义的错误？ 任何想法？

1.  有你想要极少数情况下 except: 。这样做可以捕获任何异常，它可以是难以调试，以及它捕捉异常，包括 SystemExit 和 KeyboardInterupt ，它可以使你的程序烦人 在非常简单的，你会赶上 urllib2.URLError ：

try:
 urllib2.urlopen(" CodeGo.net  timeout = 1)
except urllib2.URLError, e:
 raise MyException("There was an error: %r" % e)

以下应捕捉特定的错误时引发的连接时间：

import urllib2
import socket
class MyException(Exception):
 pass
try:
 urllib2.urlopen(" CodeGo.net  timeout = 1)
except urllib2.URLError, e:
 # For Python 2.6
 if isinstance(e.reason, socket.timeout):
  raise MyException("There was an error: %r" % e)
 else:
  # reraise the original error
  raise
except socket.timeout, e:
 # For Python 2.7
 raise MyException("There was an error: %r" % e)

2.  在Python 2.7.3：

import urllib2
import socket
class MyException(Exception):
 pass
try:
 urllib2.urlopen(" CodeGo.net  timeout = 1)
except urllib2.URLError as e:
 print type(e) #not catch
except socket.timeout as e:
 print type(e) #catched
 raise MyException("There was an error: %r" % e)

3.url解析错误

使用异常处理，解析错误的url弹出异常，捕获异常，continue，进行下个url的访问