豌豆荚
背景
- 国内豌豆荚广告主信息的抓取
分析
- 分类分析
- 在豌豆荚中将应用分成了安卓软件(工具类)和安卓游戏(游戏类)两大类
- 在工具类中又划分了影音播放5029、系统工具5018、通讯社交5014、手机美化5024、新闻阅读5019、摄影摄像5016、考试学习5026、网上购物5017、金融理财5023、生活休闲5020、旅游出行5021、健康运动5028、办公商务5022、育儿亲子5027
- 在游戏类中划分了休闲益智6001、跑酷竞速6003、扑克棋牌6008、动作冒险6004、飞行射击6002、经营策略6007、网络游戏6009、体育竞技6005、角色扮演6006、辅助工具5015
- 在豌豆荚中将应用分成了安卓软件(工具类)和安卓游戏(游戏类)两大类
- 请求分析
- http://www.wandoujia.com/category/6001/1
- 6001 :分类编号
- 1:当前页码
- (后续考虑最后一页的处理)
- http://www.wandoujia.com/category/6001/1
- 响应,以html格式响应,并且所有信息都在下载标签的属性中
<a data-app-id="6618665" data-app-vid="200665505" data-app-name="映客直播" data-app-pname="com.meelive.ingkee" data-app-vcode="1320" data-app-vname="6.0.10" data-app-icon="http://android-artworks.25pp.com/fs08/2018/05/30/9/110_9bb46b02547007f27b1eb47e2cff4126_con_130x130.png" data-app-rtype="0" data-oe="web" data-type="bind" data-feat="binded" data-app-categoryid="5029" data-app-subcategoryid="" data-install="1874.4万" data-like="0" data-name="映客直播" data-pn="com.meelive.ingkee" class="i-source install-btn " rel="nofollow" href="http://www.wandoujia.com/apps/com.meelive.ingkee/binding?source=web_inner_referral_binded" data-track="pcnormal-appcategory-com.meelive.ingkee"> 下载 </a>
-
- Data-app-name:应用名称
- Data-app-pname:包名
- Data-app-icon:图标链接
- Href:下载链接
- (后续处理时,分类在抓取时直接设置)