python可以爬游戏数据吗_python 可以在蚂蜂窝上爬数据吗

展开全部

当然可以。

爬虫代码分析

我们首先需要爬取得页面为

我们可以看到url为www.mafengwo.cn/group/s.php?q=曼谷62616964757a686964616fe59b9ee7ad9431333365633934&p=1&t=cate&kt=1。主要参数有q ,p ,t,其中q为城市名，p为页码，t为分类，cate为美食，kt为不影响参数。

需要获取该页面，detail为域名以后的参数，这个函数可以用于获得域名主页下的网页

#获取下级页面

def getDetailPage(detailURL):

try:

url = ""+detailURL"

request = urllib2.Request(url)

response = urllib2.urlopen(request)

#利用urllib2的Request方法返回一个request对象并用urlopen打开

page = response.read()

#用read()方法读取页面内容，Input: print page Output: 页面html

pageCode = re.sub(r'
', '\n', page)

#去掉html里的回车空行

return pageCode

except urllib2.URLError, e:

if hasattr(e, "reason"):

print e.reason

return None12345678910111213141516

获得每家美食店铺的链接,首先进行元素检查查看链接位于的位置

#获得美食单页店铺链接

def getFoodHref(self,pageid):

url = "/group/s.php?q="+self.city+"&p=" +str(pageid)+ "&t=cate&kt=1"

page = getDetailPage(url)        #调用getDetailPage获得页面

soup = BeautifulSoup(page,'html.parser')        #用BeautifulSoup进行页面解析

FoodHref = []

FoodLists =  soup.find(name="div",attrs={'data-category':'poi'}).ul

FoodHrefList = FoodLists.find_all("h3")        #找出

标签下所有的

标签的内容，结果为店铺列表的html

for FoodHrefs in FoodHrefList:

FoodWebsite = FoodHrefs.a['href']            #对列表循环找出a标签href属性的值，即为店铺的url

FoodHrefShort = str(FoodWebsite).replace('','')            #去掉url前的域名，以便等会调用getDetaiL函数，传入它获得店铺页面

FoodHref.append(FoodHrefShort)        return FoodHref123456789101112131415161718

接下来再次调用getDetailPage(),传入FoodHref,即可可以获得店铺的页面，通过BeautifulSoup进行信息获取了。但我在抓取的时候遇到一个问题。

这是一个信息齐全的店铺，但有的店铺没有网址，没有交通信息该怎么办。比如这个

经过元素检查发现标签也是一样的，无法通过标签特有的属性或者class的值进行定向抓取。用

的子节点兄弟节点查也不行。后来想出一个方法。

先写一个匹配函数hasAttr,list参数为一个中文的完整信息名列表，在getShopInfo方法里通过循环列表内容与抓取的

标签内容匹配，如果返回True则表示存在该信息项，否则继续匹配下一项。比如上面的图，先匹配简介，匹配失败，继续匹配英文名字，也失败，知道匹配到地址，成功，保存地址下一个标签的内容。直到获得所有信息。

#判断是否存在信息列表

def hasAttr(self,list):

soup = BeautifulSoup(page, 'html.parser')

col = soup.find("div", class_="col-main").find("div", class_="bd")

str_col = str(col)        if list in str_col:            return True

else:            return False

#抓取店铺信息

def getShopInfo(self,page):

shopInfoList = ['brief','localName','location', 'telephone', 'website', 'ticket', 'openTime','shopName','shopScore']

infoItem = ['简介', '英文名称', '地址', '电话', '网址', '门票', '开放时间','名字','星评']

soup = BeautifulSoup(page, 'html.parser')

shopName = soup.find("div", class_="wrapper").h1.string

shopScore = soup.find("div", class_="col-main").span.em.string            for i in range(0,6):            #信息项循环查找

if self.hasAttr(page, infoItem[i]):

pattern_shopinfo = re.compile(                            '

.*?'+ infoItem[i] +'.*?>(.*?)', re.S)

shopInfos = re.findall(pattern_shopinfo, page)                        #存在该项则用正则取出其标签内容

for shopInfo in shopInfos:

shopInfoList[i] = shopInfo                else:                        #继续查找下一项

continue

shopInfoList[7] = shopName

shopInfoList[8] = shopScore            return shopInfoList1234567891011121314151617181920212223242526272829303132333435

最后将数据加入字典，如果一键对多值，比如dict = {a:[]},调用set default(键名,[]).append(列表值)

dict.setdefault('comment',[]).appnd(comment)

然后json.dumps(dict,indent=1).decode("unicode_escape")。indent参数是为了以json树形式表现出数据，如果内容中有中文要用decode("unicode_escape"),否则结果为”\u”的unicode编码