python爬虫beautifulsoup爬取小说_Python爬虫之利用BeautifulSoup爬取豆瓣小说（一）——设置代理IP...

1 #-*-coding:utf-8-*-

2 importurllib23 from bs4 importBeautifulSoup4 importtime5 importrandom6

7 classdbxs:8

9 def __init__(self):10 self.pageIndex =011 self.enable =True12

13

14 #获取html页面的内容

15 defgetPage(self, pageIndex):16 try:17 #设置代理ip

18 enable_proxy =True19 #Openers使用处理器Handlers，所有的“繁重”工作由Handlers处理，每个handlers知道如何通过特定协议打开URLs，或者如何处理URL打开时的各个方面

20 #在你使用代理上网或其他的情况就需要自己创建一个opener，可以实例化一个OpenerDirector,然后调用.add_handler(some_handler_instance)

21 #也可使用build_opener，这是一个更加方便的函数，用来创建opener对象，它只需要一次函数调用

22 proxy_handler = urllib2.ProxyHandler({'Http': '113.118.170.230:808'})23 null_proxy_handler =urllib2.ProxyHandler({})24 ifenable_proxy:25 #当你获取一个URL你要使用一个opener，默认情况下opener是urlopen，但urllib2.urlopen()不支持验证、cookie或者其他Http高级功能

26 #要支持这些功能，必须使用build_opener