使用python批量爬取apk文件

学习python期间,自己写的一个小的爬虫文件,从360应用市场下载接近两千个app,代码放在 github
# -*- coding: utf-8 -*-
"""
Created on Fri May 12 11:30:11 2017

@author: GXW
"""

import re
import urllib
import os
#response=urllib.urlopen('http://zhushou.360.cn/list/index/cid/1?page=1')
#html=response.read()
#link_list=re.findall(r"(?<=&url=).*?apk",html)
#for url in link_list:
 #    print url
class testClass:
    def __init__(self):
        self.urllist=[]
        self.k=111
        self.baseurl='http://zhushou.360.cn/list/index/cid/1?page='
    def geturl(self,pageindex):
        for i in range(1,pageindex+1):
            self.urllist.append(self.baseurl+str(i))
    def spider(self):
        for i in range(len(self.urllist)):
            response=urllib.urlopen(self.urllist[0])
            html=response.read()
            link_list=re.findall(r"(?<=&url=).*?apk",html)
            for url in link_list:
                file_name="%d.apk"%(self.k)
                self.k=self.k+1
                file_path=os.path.join("F:\\APK",file_name)
                urllib.urlretrieve(url,file_path)
            del self.urllist[0]
            print i
    def start(self):
        self.geturl(50)
        self.spider()
        
a=testClass()
a.start()

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值