背景:
做app推广的时候需要看各 搜索词搜到的各app的排名
需要的结果:
- 在https://play.google.com/apps 中搜索某关键词,如browser
- 抓取页面返回的所有app,并保存对应的位置即排名
主要实现是用httplib2 抓取页面,用lxml解析页面。
import base
import httplib2
import lxml
import re
import time
from lxml import etree
from urllib import urlencode
from httplib2 import socks
APP_ID = '146'
TOP_CNT = 200
GP_SEARCH_URL = 'https://play.google.com/store/search'
TABLE = 'gp_keyword_ranking'
PROXY_HOST = '115.29.170.73'
PROXY_PORT = 2080
def get_pack(url_data):
'''
get pack_names and pagtok from url
'''
#用代理模拟在usa 访问google play
proxy = httplib2.ProxyInfo(socks.PROXY_TYPE_SOCKS5, PROXY_HOST, PROXY_PORT)
http=httplib2.Http(proxy_info = proxy)
uri= '%s?%s' % (GP_SEARCH_URL, urlencode(url_data))
response,content=http.request(uri,'GET')
#etree解析html
tree = etree.HTML(content)
try:
pack_names = tree.xpath(
u'//div[@class="card-list two-cards"]/div/@data-docid')
except:
print 'get pack_names from uri:%s failed!!!!!!!!!!!'%uri
return None, None
try:
script = tree.xpath(u'//div/script')[-1]
script_text = script.text
regex = re.compile(r'var nbp=\'(.*)\\n\';var')
nbp = regex.search(script_text).group(1)
nbp = eval(nbp.decode('unicode-escape').decode('unicode-escape'))
pagtok = nbp[1]
except Exception as e:
print e
print 'get pagTok from uri:%s failed!!!!!!!!!!!'% uri
return pack_names, None
return pack_names, pagtok<span style="font-family: Arial, Helvetica, sans-serif;"> </span>
遇到的问题:
- 抓取数据的时候并不是抓包获取一个链接,访问了,就直接返回一串数据。需要先爬网页,然后再解析网页
- 抓取网页的时候不是访问一次就返回所有的数据,网站上的体验的往下拉页面的时候页面逐渐加载。
- 要看每次加载的时候网页请求有什么不一样,结果发现传了一个pagTok参数。
- 但是pagTok参数是从娜来的呢!因为这次的返回的结果是接在上次之后的,所以猜测这次的参数应该与上次访问的返回有关。在上次访问返回的content里面找到了相应的参数
- 之后第2,3.。。。。。次访问的时候就加上pagTok参数,即可获取要的数据
- 中间搜索词有空格的时候,参数无效,用以下方法解决
uri= '%s?%s' % (GP_SEARCH_URL, urlencode(url_data)) response,content=http.request(uri,'GET')
- 抓取的页面编码问题,用以下方法解决
<span style="white-space:pre"> </span>nbp.decode('unicode-escape').decode('unicode-escape')<span style="font-family: Arial, Helvetica, sans-serif;"> </span>
推荐链接: