爬虫闯关之旅-1

第一次写博客，有一种莫名的兴奋和紧张。

打算用Python写一个爬虫，先用一个小网站练练手。

http://www.heibanke.com/lesson/crawler_ex00/

在Python的中文编码上浪费了一点时间，不过也找到了解决方法。

http://blog.sina.com.cn/s/blog_49b3ba190102wrx1.html

# -*- coding:utf-8-*-
import urllib2
url='http://www.heibanke.com/lesson/crawler_ex00/'
#爬虫获取网页
req=urllib2.Request(url)
response=urllib2.urlopen(req)
html=response.read()
html=html.decode('utf-8').encode('gbk')
#获取数字
str='数字'.decode('utf-8').encode('gbk')
nPos=html.find(str)
s=html[(nPos+4):(nPos+9)]
#新的URL
url='http://www.heibanke.com/lesson/crawler_ex00/'+s+'/'
var=1
while (var==1): #无限循环
  #爬虫获取网页
  req=urllib2.Request(url)
  response=urllib2.urlopen(req)
  html=response.read()
  html=html.decode('utf-8').encode('gbk')
  #获取数字
  str='数字'.decode('utf-8').encode('gbk')
  nPos=html.find(str)
  #如果不存在“数字”这个字符串，则表明已经成功闯关，可以输出答案，退出循环
  if(nPos==-1):
   print s
   break
  s=html[(nPos+6):(nPos+11)]
  #新的URL
  url='http://www.heibanke.com/lesson/crawler_ex00/'+s+'/'

代码还是挺简单易懂的