python爬取今日头条手机app广告_Scrapy抓手机App数据（今日头条）

Scrapy第四篇：APP抓取 | 存入MongoDB

咳咳，大家别误会哈，标题不想搞什么大新闻，恰巧是“今日头条”爬虫而已。。。

以前抓的都是网页端的数据，今天，我们来抓一抓手机App中的数据

道理其实非常简单，抓包调用Api，只不过依靠一个神器 — fiddler

我们要抓的是这个(其实也很巧，周五上课的时候偶尔刷刷看到的，评论2万多很惊讶)

但是查看后才发现，只显示两页数据，抓包结果也是如此，于是尝试App

基本配置：

Python: 2.7.13

Pycharm: pycharm-community-2016.3.2.exe

手机：Andriod系统

电脑：win8系统

一、首先用fiddler抓包

1、搜索fiddler并下载安装

2、一些设置

有点长就不啰嗦了，大家可以参考以下博文：

几个要点：

基本设置及https请求，获取本机ip地址用ipconfig命令，特别注意手机抓包需要勾选上 Allow remote computers to connect，安装证书，注意wifi连接是为了保证手机电脑连相同的网，手动设置代理服务器

还有一些地方可能根据手机型号不一样，设置不一的，大家自己灵活变通一下咯~

3、fiddler抓今日头条

其实平时不玩头条，所以先下载安装一个App，登录后并定位到该条新闻

定位到评论，下拉并抓包

然后就是下面这样

URL粘贴到浏览器，果然如此

由fiddler的response body部分，可以清晰地看到json数据的结构

通过抓包获取的URL是这样的：

http://lf.snssdk.com/article/v2/tab_comments/?group_id=6389542758708675073&item_id=6389542758708675073&aggr_type=1&count=20&offset=0&tab_index=0&iid=9659309930&device_id=25691803112&ac=wifi&channel=vivo&aid=13&app_name=news_article&version_code=609&version_name=6.0.9&device_platform=android&ab_version=116029%2C112577%2C120222%2C101786%2C120542%2C119380%2C110341%2C113607%2C119525%2C106784%2C113608%2C120243%2C119889%2C105610%2C120212%2C120459%2C104323%2C120641%2C112578%2C115571%2C120419%2C31646%2C121005%2C118216%2C114338&ab_client=a1%2Cc4%2Ce1%2Cf2%2Cg2%2Cf7&ab_group=100170&ab_feature=94563%2C102749&abflag=3&ssmix=a&device_type=vivo+V3Max+A&device_brand=vivo&language=zh&os_api=22&os_version=5.1.1&uuid=862545038604758&openudid=f96595e789672db8&manifest_version_code=609&resolution=1080*1920&dpi=480&update_version_code=6091&_rticket=1492784667138

老长了呢，不过这个http://lf.snssdk.com 确实和网页端不一样。tab_comments即评论，group_id和item_id为每一条新闻特殊地址代号。count容易理解，一页json数据包含20项评论。offset即为开始，后面就是一些乱七八糟的手机型号之类。

由上还可精简，去掉一些不必要的字段，最后变成这样：

url='http://lf.snssdk.com/article/v2/tab_comments/?group_id=6389542758708675073&offset='+str(i)

为了方便计数，开头设置一个全局变量Num

spiders部分这里就不贴代码了，单层次页面抓取，easy，你懂的

class Myspider(scrapy.Spider):

name='TouTiao'

allowed_domains=['snssdk.com']

Num=1

settings部分模拟手机抓的包，

模拟请求，就像模拟浏览器一样

# -*- coding: utf-8 -*-

BOT_NAME = 'TouTiao'

SPIDER_MODULES = ['TouTiao.spiders']

NEWSPIDER_MODULE = 'TouTiao.spiders'

ROBOTSTXT_OBEY = False

CONCURRENT_REQUESTS = 16

DOWNLOAD_DELAY = 2

COOKIES_ENABLED = False

#headers填抓包的信息，特别是User_agent这一块

DEFAULT_REQUEST_HEADERS = {

'Accept-Encoding':'gzip',

'Connection':'keep-alive',

'User_agent':'Dalvik/2.1.0 (Linux; U; Android 5.1.1; vivo V3Max A Build/LMY47V)'

}

ITEM_PIPELINES = {'TouTiao.pipelines.ToutiaoPipeline': 300}

二、存储

1)首先存入Excel

既然我们上面已经设置了全局变量Num，在items里面添加一个item['Num']，完美(^_^)！

# -*- coding: utf-8 -*-

import xlwt

class ToutiaoPipeline(object):

def __init__(self):

self.book=xlwt.Workbook()

self.sheet=self.book.add_sheet('sheet', cell_overwrite_ok=True)

head=[u'名字', u'点赞', u'回复', u'评论']

i=0

for h in head:

self.sheet.write(0, i, h)

i += 1

def process_item(self,item,spider):

self.sheet.write(item['Num'],0,item['name'])

self.sheet.write(item['Num'],1,item['like'])

self.sheet.write(item['Num'],2,item['reply'])

self.sheet.write(item['Num'],3,item['text'])

self.book.save('TouTiao.xls')

结果就是这样：

说好的2.6万的评论呢，为什么只有1000多？

把App评论翻了个底儿朝天，仔细比对了下，没有错。把回复数量加上来也不对。

聪明的盆友可以告诉我一下为什么么。。。

2)存入Mongodb

存入excel确实简单，但数据量很大时打开会很卡，而且不是每次数据都这么规整呢。

也该学点新东西了，听说MongoDB这种非关系型数据库很不错，于是入坑。

首先官网下载(自己动手，丰衣足食嘿嘿~)

MongoDB基本语法 可参考：

踩过坑的人才知道，以上真的是最好的参考，没有之一(我在这里辗转了加起来都快1天，说多了都是泪啊。。。)

安装配置过程几个坑，记录补充下：

输入如下命令，启动MongoDB

启动成功的几个标志：

1、看到 waiting for connections....

2、运行mongo.exe出现这样(而不是闪退)

最后配置windows出错

困扰了好一会儿，查到一个帖子：

Mongodb安装后在cmd下无法启动，提示：服务名无效

改了一下，以管理员权限打开cmd(不懂的盆友自己百度吧~)

哎，感动，要哭，这一路bug太多了。。。

然后最后一步有些不一样，可能因为我是win8系统(教程是win10)

不需要新建，直接在Path的变量值那一栏，前面加上D:\MongoDB\bin 即可

然后pipelines部分代码就是这样：

# -*- coding: utf-8 -*-

#导入settings中各种参数

from scrapy.conf import settings

import pymongo

#不要忘记在settings中修改一下ITEM_PIPELINES

class MongoPipeline(object):

def __init__(self):

#pymongo.MongoClient连接到数据库

connection=pymongo.MongoClient(settings['MONGODB_HOST'],settings['MONGODB_PORT'])

# 创建数据库'db1'

db=connection[settings['MONGODB_NAME']]

# 连接到数据集'toutiao'，类型为dict

self.post=db[settings['MONGODB_DOCNAME']]

def process_item(self,item,spider):

#插入数据到数据库

#update方法实现有效去重

self.post.update({'text':item['text']},{'$set':dict(item)},upsert=True)

print u'插入成功!'

return item

结果就是这样：

这里借助了robomongo，一款MongoDB可视化软件，使用方法非常简单，大家也可以试试

由于抓取的时间不相同，存入excel和MongoDB，数据有些差异

三、总结：

总结下本节我们都干了什么：

1、各种安装配置问题和基础知识：

fiddler、MongoDB

2、Scrapy手机App数据抓取——fiddler抓包

3、存储：存入Excel，存入MongoDB

忘了说了，整个文件结构就是下面这样。

存入MongoDB为主。存入excel的分别设置settings1、pipelines1，并置于与entrypoint同一目录(方便替换，不影响运行嘿嘿~)

本来还想数据分析一块讲的，发现太多了，留到下次啦~

完整版代码：github 地址

本篇就是这样了~