python3爬虫,通过cookies来跳过验证码直接爬取友盟数据

最近在做游戏的运营,每天都要上友盟的数据统计平台拉每天的活跃和新增,正好自己会python,就做了一个自动化的爬虫。

目前是单一的json处理,后续直接加一个循环的链接嵌套就行了。

import requests
import xlwt

cookie = '''abc'''#放入自己的账号cookies
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
'Connection': 'keep-alive',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'cookie':cookie}
url = 'https://mobile.umeng.com/apps/650000651047c2f767d74c95/game_reports/load_table_data?page=1&per_page=30&stats=channel_stats_details&daytime=yesterday'#对于的游戏的友盟接口

jichu = [] #空列表,做总的列表汇总。
wbdate = requests.get(url,headers =header).json()['stats'] #直接读取返回的json数据串
zhongzhuan = wbdate
jichu = jichu+zhongzhuan

#初始化一个Excel
workbook = xlwt.Workbook(encoding = 'utf-8')
sheet1 = workbook.add_sheet('shuju')

#列表写入Excel
ll = list(jichu[0].keys())
for i in range(0,len(ll)):
    sheet1.write(0,i,ll[i])
for j in range(0,len(jichu)):
        m = 0
        ls = list(jichu[j].values())
        for k in ls:
                sheet1.write(j+1,m,k)
                m+=1    


workbook.save('D:\\work\\ceshi.xls')
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值