应用商店调研-百度手机助手

百度手机助手

背景

• 国内百度手机助手广告主信息的抓取

分析

• 分类分析
  • 在百度手机助手中将应用分为软件（工具类）和游戏（游戏类）
    • 在工具类（software）中分为了系统工具501、主题壁纸502、社交通讯503、拍摄美化508、影音播放506、生活实用504、理财购物510、办公学习507、资讯阅读505、旅游出行509
      • 请求url：http://shouji.baidu.com/software/503/list_1.html
    • 在游戏类（game）中分为了休闲益智401、动作射击403、体育竞技405、经营养成408、角色扮演402、赛车竞速406、模拟辅助404、棋牌桌游407、网络游戏200
      • 请求url：http://shouji.baidu.com/game/401/list_7.html
• 请求分析
  • 以工具类为例 http://shouji.baidu.com/software/501/list_7.html，该请求是很普通的http请求，并且返回信息时直接就在页面显示，并不是ajax异步请求
    • shouji.baidu.com:百度手机助手域名
    • Software：当前请求的应用类型（工具类/游戏类）
    • 501:是当前应用分类中的第二层分类的id，代表了具体的分类
    • list_7.html：当前所在页面（百度手机助手，当当前页面是最后一页时，点击下一页仍是最后一页，后续可以通过当页面url不发生变化时，停止抓取）
• 响应分析
  • 是以html作为响应的，在返回的html中包含了我们所需的各项信息

<li class="firrow">

…

                        <span class="inst-btn-big quickdown" οnclick="bd_app_dl_quick(this,event);" data-action="game" data-mod="list_game_401" data-tj="game_23997465_2074519_集结号捕鱼" data-pos="2" data_type="apk" data_url="http://p.gdown.baidu.com/e2e4e72c1f9dd073b26dcf09838a9e0dc2260eb3d7de4a72e9f3f58c45ae44fd0ab165bb2ea1b3b1c6eb498e6871fd4f78e624ba17843252b00d7772009e0243e75f04f9613efdcad1b93a60cb8774204fbb14186b0423a7deb1d826984faa142dd935c711f3aa40e030d06243feb6129f615f6f2b7af899fa95b2b62a4512c19efde3990aad2cf8011abf1fc852a60d7f67922e0db6d39f5dc9156580cb1bf9ee2c6fe28fc59f563c9270bf1e70ab78ac9cbe788e47e7adc1250aa4f4faf971f182cee09dd966d8e6467ed32d0d712cc9d5ee0041b98becb91daad661df83db50907636e25ca23f20a6b8bf99b343085dbf9abd98a01aa1aeb2cd5d0b60128d70d027db54d7bff7151966663aa62819" data_name="集结号捕鱼" data_detail_type="app" data_package="com.jjhgame.gf.iapppay" data_versionname="6.10.02" data_icon="http://d.hiphotos.bdimg.com/wisegame/wh%3D72%2C72/sign=24f831aa0655b3199cac8a727185b514/5366d0160924ab181c109c9c39fae6cd7b890b12.jpg" data_from="91Assistant_PC_V6_16" data_size="92451114" style="top: 0px;">

         …

       </div>

      <div class="app-popover" style="top: 272px; left: 294px;">

 …

    </div>

    <p class="brief"><span class="comm">[小编评语]</span>街机游戏《集结号捕鱼》，游戏场景采用全3D制作，以深海作为游戏背景。通过剧情任务以及随机的炸弹系统，增加了游戏的挑战性。在捕鱼游戏风靡的今天，采用了全新的技术及游戏特效，并集成了各…</p>

</div>

   </a>

   </li>

• • 从以上一条响应来分析，基本上所需要的信息都在span标签属性中
    • data_url:下载链接
    • data_name:app名称
    • data_package:包名
    • data_icon:图标链接
    • 未返回应用的具体分类，后续可以在（分类）抓取时直接进行设置