python简单爬虫学习

前几天博主学习了python之后便开始着手于学校所要求的实验了，因为学校要求从网上自己爬数据下来分析，所以对爬虫一无所知的我，在下了很大决心之后，决定用并不是很熟悉的python语言来写一个简单的爬虫，由于学习python时间并不长，所以这个实验权当练手了（因为是考试周，所以会尽可能的往简单了写）。

首先，通过百度了解到，python写爬虫会用到urllib和urllib2这两个库，便去简单的学习了一下这两个库，这两个库呢其实并不难，核心内容主要是request和response的使用，request(url,data,headers)，好了，下面记录一下我这彩笔爬虫的基本实现步骤。

构建一个爬虫类，代码如下：

class DZDP：#emmmm，为什么是dzdp呢，因为我一开始不知道天高地厚，妄想去爬大众点评的，结果人家有反爬虫的，解决方法太麻烦，因为赶时间，所以换了一个网站

    def __init__(self,baseUrl1,baseUrl2):#这里最好只穿一个url，因为网站的原因，所以我脑残用了两
        self.baseURL1=baseUrl1
        self.baseURL2=baseUrl2
    #传入页码，获取该页帖子的代码
    def getPage(self,pageNum):#简单的获取每一页的内容
        headers={"User-Agent":"Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19"}
        try:#把自己伪装成服务器
            url = self.baseURL1+str(pageNum)+self.baseURL2
            request = urllib2.Request(url,headers=headers)
            response = urllib2.urlopen(request)
            return  response.read()
        except urllib2.URLError, e:
            if hasattr(e,"reason"):
                print u"链接失败",e.reason
                return None

由于时间问题，我只是将数据导入了txt中，进行了简单的统计，并没有做复杂的处理

整个代码：

# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
 
class DZDP:
    def __init__(self,baseUrl1,baseUrl2):
self.baseURL1=baseUrl1
self.baseURL2=baseUrl2
    #传入页码，获取该页帖子的代码
    def getPage(self,pageNum):
        headers={"User-Agent":"Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19"}
try:
            url = self.baseURL1+str(pageNum)+self.baseURL2
            request = urllib2.Request(url,headers=headers)
            response = urllib2.urlopen(request)
            return  response.read()
        except urllib2.URLError, e:
            if hasattr(e,"reason"):
                print u"链接失败",e.reason
                return None
baseurl1='http://bbs.voc.com.cn/forum-77-'
baseurl2='.html'
pagenum=''
dzdp=DZDP(baseurl1,baseurl2)
musicType={"156":0,"159":0,"160":0,"164":0,"165":0,"166":0,"769":0,"707":0,"712":0,"734":0,"735":0,"747":0,"766":0}
index=0
pattern=re.compile(r"typeid=.*")
num=1
fo=open("lab2Data.txt","w")
while index<876:
str1=dzdp.getPage(index)
index=index+1
match = re.findall(pattern,str1)
for m in match:
fo.write(m)
s1=m[7:10]
try:
a=musicType[s1]
musicType[s1]=a+1
except:pass
print "当前页数："+str(num)
num=num+1
print musicType
fo.close()