python 抓取google play 各搜索词排名

背景：

做app推广的时候需要看各 搜索词搜到的各app的排名

需要的结果：

1. 在https://play.google.com/apps 中搜索某关键词，如browser
2. 抓取页面返回的所有app，并保存对应的位置即排名

主要实现是用httplib2 抓取页面，用lxml解析页面。

import base  
import httplib2  
import lxml
import re
import time
from lxml import etree
from urllib import urlencode
from httplib2 import socks
 
 
APP_ID = '146'
TOP_CNT = 200
GP_SEARCH_URL = 'https://play.google.com/store/search'
TABLE = 'gp_keyword_ranking'
PROXY_HOST = '115.29.170.73'
PROXY_PORT = 2080
 
def get_pack(url_data):                                                                                                                                                      
    '''
        get pack_names and pagtok from url
    '''

    #用代理模拟在usa 访问google play
    proxy = httplib2.ProxyInfo(socks.PROXY_TYPE_SOCKS5, PROXY_HOST, PROXY_PORT)
    http=httplib2.Http(proxy_info = proxy)  
    uri= '%s?%s' % (GP_SEARCH_URL, urlencode(url_data))
    response,content=http.request(uri,'GET')

    #etree解析html  
    tree = etree.HTML(content)
    try:
        pack_names = tree.xpath(
            u'//div[@class="card-list two-cards"]/div/@data-docid')
    except:
        print 'get pack_names from uri:%s failed!!!!!!!!!!!'%uri
        return None, None
 
    try:
        script = tree.xpath(u'//div/script')[-1]
 
        script_text = script.text
        regex = re.compile(r'var nbp=\'(.*)\\n\';var')
        nbp = regex.search(script_text).group(1)
        nbp = eval(nbp.decode('unicode-escape').decode('unicode-escape'))
      pagtok = nbp[1]
    except Exception as e:
        print e
        print 'get pagTok from uri:%s failed!!!!!!!!!!!'% uri
        return pack_names, None
        
    return pack_names, pagtok<span style="font-family: Arial, Helvetica, sans-serif;">     </span>

遇到的问题：

1. 抓取数据的时候并不是抓包获取一个链接，访问了，就直接返回一串数据。需要先爬网页，然后再解析网页
2. 抓取网页的时候不是访问一次就返回所有的数据，网站上的体验的往下拉页面的时候页面逐渐加载。
3. 要看每次加载的时候网页请求有什么不一样，结果发现传了一个pagTok参数。
4. 但是pagTok参数是从娜来的呢！因为这次的返回的结果是接在上次之后的，所以猜测这次的参数应该与上次访问的返回有关。在上次访问返回的content里面找到了相应的参数
5. 之后第2，3.。。。。。次访问的时候就加上pagTok参数，即可获取要的数据
6. 中间搜索词有空格的时候，参数无效，用以下方法解决

     uri= '%s?%s' % (GP_SEARCH_URL, urlencode(url_data))
       response,content=http.request(uri,'GET')

7. 抓取的页面编码问题，用以下方法解决

<span style="white-space:pre">	</span>nbp.decode('unicode-escape').decode('unicode-escape')<span style="font-family: Arial, Helvetica, sans-serif;">	</span>

推荐链接：

解析内容时编码问题： http://stackoverflow.com/questions/23288042/i-want-to-decode-string-in-python

抓取网页： http://blog.csdn.net/gs_zhaoyang/article/details/13768925

代理设置： https://code.google.com/p/httplib2/wiki/Examples