第一次写博客,有一种莫名的兴奋和紧张。
打算用Python写一个爬虫,先用一个小网站练练手。
http://www.heibanke.com/lesson/crawler_ex00/
在Python的中文编码上浪费了一点时间,不过也找到了解决方法。
http://blog.sina.com.cn/s/blog_49b3ba190102wrx1.html
# -*- coding:utf-8-*-
import urllib2
url='http://www.heibanke.com/lesson/crawler_ex00/'
#爬虫获取网页
req=urllib2.Request(url)
response=urllib2.urlopen(req)
html=response.read()
html=html.decode('utf-8').encode('gbk')
#获取数字
str='数字'.decode('utf-8').encode('gbk')
nPos=html.find(str)
s=html[(nPos+4):(nPos+9)]
#新的URL
url='http://www.heibanke.com/lesson/crawler_ex00/'+s+'/'
var=1
while (var==1): #无限循环
#爬虫获取网页
req=urllib2.Request(url)
response=urllib2.urlopen(req)
html=response.read()
html=html.decode('utf-8').encode('gbk')
#获取数字
str='数字'.decode('utf-8').encode('gbk')
nPos=html.find(str)
#如果不存在“数字”这个字符串,则表明已经成功闯关,可以输出答案,退出循环
if(nPos==-1):
print s
break
s=html[(nPos+6):(nPos+11)]
#新的URL
url='http://www.heibanke.com/lesson/crawler_ex00/'+s+'/'
代码还是挺简单易懂的