最新利用Python爬虫抓取手机APP的传输数据_python抓手机数据包

req = urllib2.Request(loginUrl, loginData, headers)
loginResult = opener.open(req).read()
print loginResult

登录成功 会返回一串账号信息的json数据  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/605be2ec757f407496a8b3e54e6548eb.png)  
 和抓包时返回数据一样，证明登录成功  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/6003556522bb4b92924951ff9b142387.jpeg)


### 3、抓取数据


用同样方法得到话题的url和post参数


下见最终代码，有主页获取和下拉加载更新。可以无限加载话题内容。

#!/usr/local/bin/python2.7

-- coding: utf8 --

“”"
超级课程表话题抓取
“”"
import urllib2
from cookielib import CookieJar
import json
‘’’ 读Json数据 ‘’’
def fetch_data(json_data):
data = json_data[‘data’]
timestampLong = data[‘timestampLong’]
messageBO = data[‘messageBOs’]
topicList = []
for each in messageBO:
topicDict = {}
if each.get(‘content’, False):
topicDict[‘content’] = each[‘content’]
topicDict[‘schoolName’] = each[‘schoolName’]
topicDict[‘messageId’] = each[‘messageId’]
topicDict[‘gender’] = each[‘studentBO’][‘gender’]
topicDict[‘time’] = each[‘issueTime’]
print each[‘schoolName’],each[‘content’]
topicList.append(topicDict)
return timestampLong, topicList
‘’’ 加载更多 ‘’’
def load(timestamp, headers, url):
headers[‘Content-Length’] = ‘159’
loadData = ‘timestamp=%s&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’ % timestamp
req = urllib2.Request(url, loadData, headers)
loadResult = opener.open(req).read()
loginStatus = json.loads(loadResult).get(‘status’, False)
if loginStatus == 1:
print ‘load successful!’
timestamp, topicList = fetch_data(json.loads(loadResult))
load(timestamp, headers, url)
else:
print ‘load fail’
print loadResult
return False
loginUrl = ‘http://120.55.151.61/V2/StudentSkip/loginCheckV4.action’
topicUrl = ‘http://120.55.151.61/V2/Treehole/Message/getMessageByTopicIdV3.action’
headers = {
‘Content-Type’: ‘application/x-www-form-urlencoded; charset=UTF-8’,
‘User-Agent’: ‘Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)’,
‘Host’: ‘120.55.151.61’,
‘Connection’: ‘Keep-Alive’,
‘Accept-Encoding’: ‘gzip’,
‘Content-Length’: ‘207’,
}
‘’’ —登录部分— ‘’’
loginData = ‘phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’
cookieJar = CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))
req = urllib2.Request(loginUrl, loginData, headers)
loginResult = opener.open(req).read()
loginStatus = json.loads(loginResult).get(‘data’, False)
if loginResult:
print ‘login successful!’
else:
print ‘login fail’
print loginResult
‘’’ —获取话题— ‘’’
topicData = ‘timestamp=0&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’
headers[‘Content-Length’] = ‘147’
topicRequest = urllib2.Request(topicUrl, topicData, headers)
topicHtml = opener.open(topicRequest).read()
topicJson = json.loads(topicHtml)
topicStatus = topicJson.get(‘status’, False)
print topicJson
if topicStatus == 1:
print ‘fetch topic success!’
timestamp, topicList = fetch_data(topicJson)
load(timestamp, headers, topicUrl)

结果：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/b8ae0c76625a4a85b60d5336b4ffe41c.jpeg)  
 **在学习python中有任何困难不懂的可以微信扫描下方CSDN官方认证二维码加入python交流学习  
 多多交流问题，互帮互助，这里有不错的学习教程和开发工具。**



> 
> 👉[[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]]( )（**安全链接，放心点击**）
> 
> 
> 



![](https://img-blog.csdnimg.cn/img_convert/ff8d03f399fa621c80f021708a53c1f8.png)



### 一、Python所有方向的学习路线


Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/a6067e55c54b49078778d56ea0db7fe2.png)



如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费**学习**大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。



### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

### 二、学习软件



工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

![](https://img-blog.csdnimg.cn/img_convert/eec417a3d4d977b313558a11d3c13e43.png)



### 四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/img_convert/ec690501ea1dbe2cb209cbf4013c2477.png)  

![](https://img-blog.csdnimg.cn/img_convert/3eaeaa6747419c9d86c72e0d10d0a6a2.png)



### 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。



![](https://img-blog.csdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)



### 五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**