爬虫笔记37：android控件ListView的讲解、fiddler的安装与使用、fiddler和模拟器的配合使用、案例（爬取豆果美食app）

最新推荐文章于 2023-08-24 09:59:35 发布
最新推荐文章于 2023-08-24 09:59:35 发布
阅读量922 收藏 1
点赞数
文章标签： 爬虫 fiddler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49167820/article/details/120635530
版权

一、android控件ListView的讲解（了解即可）
ListView的用处：可以用来开发app

环境：
1 、安装jdk ：就可以使用java这门语言进行开发了。安装过程中提示jre是否要安装，不用安装：因为jdk里包含了jre。
2 、安装android studio （ec），需要专门单独学习这个开发工具的使用。（就是用这个开发app）

二、fiddler的安装与使用
1、fiddler是什么？
是一个HTTP协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，简单来说就是一个抓包工具。官网 https://www.telerik.com/fiddler
在这里插入图片描述
​2、fiddler的优势
（1） 简单好用
（2）它有一个友好的和用户做交互的界面
（3）支持市面上大多数的浏览器
（4）支持大多数的移动设备
​
3、fiddler的安装
第一步 ：安装fiddler
（1）选择安装路径，完成安装后，在安装路径中找到fiddler.exe建立桌面快捷方式。
在这里插入图片描述
（2）fiddler设置：
在桌面双击快捷键进入fiddler交互界面，依次完成设置：
在这里插入图片描述
在这里插入图片描述
第二步 ：switchomega插件的安装
（1）点击网页右上角的图标按步骤完成插件的安装，
在这里插入图片描述
（2）安装完成后，依次点击下图红框，
在这里插入图片描述
进入到选项页面：
在这里插入图片描述
并按下图设置数据：在这里插入图片描述
最后点击：应用选项（即上图中绿色处）
或者也可以参考这篇文章：https://www.cnblogs.com/nicole-zhang/p/11955881.html

4、fiddler的页面结构
在这里插入图片描述
五、fiddler的使用（可以百度一个基础视频看看基本操作介绍）
capture traffic 是否启动抓包
save保存数据包

六、模拟器的配置
（1）在cmd查找ip： 输入ipconfig回车
在这里插入图片描述
（2）在夜神模拟器上的设置：
在这里插入图片描述
（2.1）点击系统设置 – 开启网络桥接模式( 第一次需要安装驱动点击确认即可)
在这里插入图片描述
（2.2）点击手机设置–WLAN – WiredSSID(鼠标左键长按直到出现弹框为止) – 修改网络 – 代理服务器主机名(即cmd-ipconfig查询到的ip) --端口(fiddler设置的端口8888) – 保存
在这里插入图片描述
七、fiddler和模拟器的配合使用（即验证上述配置是否成功）
（1）双击打开夜神模拟器（这是必须的，不然会提示错误）
（2）启动夜神模拟器，双击其界面上的浏览器：
在这里插入图片描述
提示有证书问题，我们来安装证书，点击继续
在这里插入图片描述
在浏览器输入框输入我们的ip地址（即cmd-ipconfig查询到的ip）和fiddler设置的端口号8888，回车
在这里插入图片描述
点击弹出字段的蓝思部分，安装diddler证书。
在这里插入图片描述
并自定义命名：
在这里插入图片描述
在这里插入图片描述
点击确定，

在这里插入图片描述
点击密码，输入zq159821…（因为这里设置了密码，以后登录模拟器的时候，也会要求输入该密码登录）
在这里插入图片描述
弹出这个吐司证明安装成功了。
（3）验证：
首先fiddler打开着，在模拟器的浏览器输入框，输入：www.daomubiji.com,回车；
在这里插入图片描述
浏览器访问到盗墓笔记的网页后，在fiddler里find按钮，查找：盗墓笔记，
在这里插入图片描述
得到结果，即证明上述设置步骤成功了。

八、案例（爬取豆果美食app）
1 、在模拟器是安装豆果美食app
在豌豆荚官网搜索豆果美食，下载该apk文件,并直接拖进模拟器界面内，就完成了安装。

2、爬取
需求: 菜谱分类里面所有分类的数据，如下图：
在这里插入图片描述
第一步 页面结构分析
（1）先打开fiddler，然后在模拟器界面点击进入豆果美食，可以看到fiddler流在不停刷新。
在这里插入图片描述
（2）点击find按钮，输入api.douguo.net，找到recipe行（中文意思是菜谱）并点击选中它，右边的http请求栏和http响应栏，就会跳出，我们都点击Raw按钮。
（2.1）复制http请求栏的内容，如下：

POST http://api.douguo.net/recipe/flatcatalogs HTTP/1.1
client: 4
version: 6922.2
device: MI 6
sdk: 19,4.4.2
imei: 863254010385929
channel: zhuzhan
mac: 38:59:F9:B4:F8:D5
resolution: 1440*900
dpi: 2.0
android-id: 3859f9b4f8d53198
pseudo-id: 9b4f8d531983859f
brand: Xiaomi
scale: 2.0
timezone: 28800
language: zh
cns: 0
carrier: CMCC
imsi: 460073859249180
user-agent: Mozilla/5.0 (Linux; Android 4.4.2; MI 6  Build/NMF26X) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/30.0.0.0 Mobile Safari/537.36
reach: 1
newbie: 0
lon: 104.526038
lat: 25.835099
cid: 520200
Content-Type: application/x-www-form-urlencoded; charset=utf-8
Accept-Encoding: gzip, deflate
Connection: Keep-Alive
Cookie: duid=69083915
Host: api.douguo.net
Content-Length: 68

client=4&_session=1633786016309863254010385929&v=1503650468&_vs=2305

其中，第一行POST中就体现了我们的目标url，即：

http://api.douguo.net/recipe/flatcatalogs

而最后一行就是我们向目标url发起请求时要携带数据data，即：

client=4&_session=1633786016309863254010385929&v=1503650468&_vs=2305

（注意，要把它改成字典格式）
剩下的中间部分，就是headers,当然了，其中有些是不用一定要的数据，在具体的实践中，我们可以一个个去试，哪些是可以不要的，比如：cookie可以先注释掉，不行再开。
​
（2.2）复制http响应栏中的内容，如下：

{"state":"success","result":{"nv":"1633780900","cs":[{"name":"\u70ed\u95e8","id":"1","ju":"recipes:\/\/www.douguo.com\/search?key=\u70ed\u95e8&_vs=400","cs":[{"name":"\u5bb6\u5e38\u83dc","id":"18","ju":"recipes:\/\/www.douguo.com\/search?key=\u5bb6\u5e38\u83dc&_vs=400","cs":[{"name":"\u7ea2\u70e7\u8089","id":"7891","ju":"recipes:\/\/www.douguo.com\/search?key=\u7ea2\u70e7\u8089&_vs=400","cs":[],"image_url":""},{"name":"\u53ef\u4e50\u9e21\u7fc5","id":"7892","ju":"recipes:\/\/www.douguo.com\/search?key=\u53ef\u4e50\u9e21\u7fc5&_vs=400","cs":[],"image_url":""},{"name":"\u7cd6\u918b\u6392\u9aa8","id":"7893","ju":"recipes:\/\/www.douguo.com\/search?key=\u7cd6\u918b\u6392\u9aa8&_vs=400","cs":[],"image_url":""},{"name":"\u9c7c\u9999\u8089\u4e1d","id":"7894","ju":"recipes:\/\/www.douguo.com\/search?key=\u9c7c\u9999\u8089\u4e1d&_vs=400","cs":[],"image_url":""},{"name":"\u7ea2\u70e7\u6392\u9aa8","id":"7895","ju":"recipes:\/\/www.douguo.com\/search?key=\u7ea2\u70e7\u6392\u9aa8&_vs=400","cs":[],"image_url":""},{"name":"\u5bab\u4fdd\u9e21\u4e01","id":"7896","ju":"recipes:\/\/www.douguo.com\/search?key=\u5bab\u4fdd\u9e21\u4e01&_vs=400","cs":[],"image_url":""},{"name":"\u897f\u7ea2\u67ff\u7092\u9e21\u86cb","id":"7897","ju":"recipes:\/\/www.douguo.com\/search?key=\u897f\u7ea2\u67ff\u7092\u9e21\u86cb&_vs=400","cs":[],"image_url":""},{"name":"\u6e05\u84b8\u9c88\u9c7c","id":"7898","ju":"recipes:\/\/www.douguo.com\/search?key=\u6e05\u84b8\u9c88\u9c7c&_vs=400","cs":[],"image_url":""},{"name":"\u9178\u83dc\u9c7c","id":"7899","ju":"recipes:\/\/www.douguo.com\/search?key=\u9178\u83dc\u9c7c&_vs=400","cs":[],"image_url":""}],"image_url":"https:\/\/i1.douguo.com\/upload\/article\/d\/3\/d\/d3dde5f60ee0ab38430ef180fa7203dd.jpg"},{"name":"\u4e0b\u996d\u83dc","id":"660","ju":"recipes:\/\/www.douguo.com\/search?key=\u4e0b\u996d\u83dc&_vs=400","cs":[{"name":"\u6cb9\u7116\u5927\u867e","id":"7900","ju":"recipes:\/\/www.douguo.com\/search?key=\u6cb9\u7116\u5927\u867e&_vs=400","cs":[],"image_url":""},{"name":"\u9ebb\u5a46\u8c46\u8150","id":"7901","

我们可以将它在网站json.cn中查看，具体是什么内容：
在这里插入图片描述
我们随意选取name字段的值，通过下面代码，转化成中文：
在这里插入图片描述

import urllib.parse

a='\u70ed\u95e8'
result=urllib.parse.unquote(a)
print(result)

在这里插入图片描述
或者，我们直接点击模拟器http响应栏中的json按钮，如下：
在这里插入图片描述
由此，这里就是我们要爬取的数据。

第二步 实现步骤

import requests
import json

# 发请求获取响应结果
def handel_request(url,data):
    header = {
        "client": "4",
        "version": "6922.2",
        "device": "MI 6",
        "sdk": "19,4.4.2",
        "imei": "863254010448503",
        "channel": "qqkp",
        # "mac": "44:85:00:5E:5B:28",
        "resolution": "720*1280",
        "dpi": "1.5",
        # "android-id": "4485005e5b281516",
        # "pseudo-id": "05e5b28151644850",
        "brand": "Xiaomi",
        "scale": "1.5",
        "timezone": "28800",
        "language": "zh",
        "cns": "3",
        "carrier": "CMCC",
        # "imsi": "460074485009491",
        "user-agent": "Mozilla/5.0 (Linux; Android 4.4.2; MI 6  Build/NMF26X) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/30.0.0.0 Mobile Safari/537.36",
        "reach": "1",
        "newbie": "1",
        "lon": "116.568176",
        "lat": "26.997867",
        "cid": "361000",
        "Content-Type": "application/x-www-form-urlencoded; charset=utf-8",
        "Accept-Encoding": "gzip, deflate",
        "Connection": "Keep-Alive",
        # "Cookie": "duid=57158696",
        "Host": "api.douguo.net",
        # "Content-Length": "68",
    }

    response = requests.get(url=url,headers=header,data=data)
    return response



# 解析数据
def handle_index():
    # 目标url
    url = 'http://api.douguo.net/recipe/flatcatalogs'
    data = {
        "client": "4",
        # "_session": "1537295931652863254010448503",
        # "v": "1503650468",
        "_vs": "2305",
    }

    response = handel_request(url=url,data=data)
    index_response_dict = json.loads(response.text)
    for index_item in index_response_dict['result']['cs']:
        for index_item_1 in index_item['cs']:
            for item in index_item_1['cs']:
                print(item)

if __name__ == '__main__':
    handle_index()

运行结果：（可以直接运行py文件，不用打开fiddler和模拟器，它们只是分析工具）
在这里插入图片描述

补充：爬取全民小视频

import requests
import json


def handel_request(url, data):
    header = {
        "Referer": "https://quanmin.baidu.com/",
        "User-Agent": "Mozilla/5.0 (Linux; Android 5.1.1; MI 6  Build/NMF26X) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/39.0.0.0 Mobile Safari/537.36 bdminivideo/3.2.0.10 arsdk/5030 (Baidu; P1 5.1.1)",
        "Host": "quanmin.baidu.com",
        # 'Cookie': 'BAIDUID=35116BA5B916871829C37B1C4CFDF85D:FG=1; BAIDUZID=HIBz0cAVtiQTSJXkx3W19OACU9gPP9ZM2dHuCmGVx-BFhHUBTr2PLvEzV-aACilkuQ1g2LpuJnHD4PZmiCO9pFcO1vfYMO35P1ZsHbl8hZLw; BAIDUCUID=luvI80u-2i0ki2af_aHa8_uU28gqOS8K_u-1u08rva8ykS8xlNWpRyxPA'
    }
    response = requests.post(url, headers=header, data=data)
    return response

def handle_index():
    url = 'https://quanmin.baidu.com/appui/video/feed?log=vhk&tn=1021212e&ctn=1021212e&imei=0&od=&cuid=F551E670DB1D64B2047009C5569DFF2E|VC3EYOTK5&bdboxcuid=null&os=android&osbranch=a0&ua=900_1440_320&ut=MI%206%20_5.1.1_22_Xiaomi&uh=Xiaomi%20,qcom,msm8998,1&apiv=1.0.0.10&appv=3020010&version=3.2.0.10&life=1624977343&clife=1624977343&hid=664A787BC87F85BC5D09FB2E535CF8C5&network=1&network_state=20&sids=10012_3-10033_3-10034_4-15014_2-15094_1-3258_2&teenager=0&oaid=&activity_ext=&c3_aid=A00-5KIB3QK746NCOXYCHF6GPEXXJF6MNJDE-VQWTG7CI&push_source=no_push&yyuser=1&api_name=feed&sign=f22d45e5b28873d3431b610e3c4fe85c'
    data = {
        'subTab': 'faxian',
        'subTag': 'immersion',
        'conf': '%7B%22autoplay%22%3A%220%22%7D',
        'location': '%7B%22prov%22%3A%22%E5%AE%89%E5%BE%BD%E7%9C%81%22%2C%22city%22%3A%22%E5%AE%89%E5%BA%86%E5%B8%82%22%2C%22county%22%3A%22%E5%AE%BF%E6%9D%BE%E5%8E%BF%22%2C%22city-code%22%3A%22130%22%2C%22street%22%3A%22%22%2C%22latitude%22%3A30.004295%2C%22longitude%22%3A116.574989%7D',
        'refresh_type': 'init',
        'is_close_individual': 0,
        'param_ext': '%7B%22entrance_vid%22%3A%220%22%2C%22tabfrom%22%3A%22detail%22%7D',
        'visit_id': '1625033654',
        'refresh_state': 6,
        'refresh_index': 1,
        'confirmed_interes': '%7B%22confirmed_list%22%3A%5B%5D%2C%22threshold%22%3A0%2C%22is_triggered_refresh%22%3A0%7D',
    }

    response = handel_request(url=url, data=data)
    index_response_dict = json.loads(response.text)
    lst = []
    for index_item in index_response_dict['feed']['data']['list']:

        for index_item_1 in index_item['content']['videoInfo']['multiClarity']:

            video_urls = index_item_1['videoPlayUrl']
            lst.append(video_urls)
            # print(lst)
    return lst

def write_data():
    name = 1
    lst = handle_index()
    # print(lst)
    for url in lst:
        video_res = requests.get(url)
        video_result = video_res.content

        with open('video/%s.mp4'%name,'wb') as f:
            f.write(video_result)

        name += 1

write_data()

结果：
在这里插入图片描述

进阶的阿牛哥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
最常用的控件ListView简单使用
弹指间锻造生命的艺术
01-15 754
一.概述：由于手机屏幕空间都比较有限，能够一次性在屏幕上显示的内容并不多，当我们的程 序中有大量的数据需要展示的时候，就可以借助ListView 来实现。ListView 允许用户通过手 指上下滑动的方式将屏幕外的数据滚动到屏幕内，同时屏幕上原有的数据则会滚动出屏幕。 相信你其实每天都在使用这个控件，比如查看手机联系人列表，翻阅微博的最新消息等等。 二.开始使用: ListView的简单
安卓-ListView基本使用
淡淡的幸福的博客
02-14 1040
今天的目标是使用ListView控件完成一个布局，左边一个图标，右边分为上线两部分：标题和内容; ListView在使用时要考虑内存优化，就是使用ViewHolder(自己定义的一个内部类，存储布局中的控件的索引) 适配器使用继承自ArrayAdapter的适配器，也可以继承自BaseAdapter(要多写几个方法) 目前虽然还有公司在使用，但是后面大家陆续都会转向RecyclerView,
查看百度CUID方法
A3332221110的博客
06-30 3857
百度地图CUID号获取方法：安卓系统百度地图APP→“设置”→ 长按“关于” 转载于:https://www.cnblogs.com/SA226343/p/7099957.html
python爬取 百姓网部分数据 + 存入MongoDB数据库详细案例
JiaconLi的博客
01-09 2630
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 新手上路，有不好的地方欢迎评论区指正。 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有。 一、实施步骤 (1) 数据爬取：使用requests请求为基础获取数据源。 (2) UA伪装：模拟浏览器访问网址。 (3) 数据解析：使用xpath语法处理数据。 (4) 数据存
Python爬虫--豆果网美食爬取demo，使用xpath库爬取,保存数据到excel
最新发布
Dawn_G的博客
08-24 319
注2：此爬虫使用urllib和xpath库完成，页面数据都在html标签中。基础爬取，无需登录及验证码输入。1、百度打开上方链接进入网站，点击F12打开查找元素。注1：只是用来简单练习，无频繁且恶意请求。5、运行代码，结果保存在本地项目中。2、导入xpath库。
Android编程之控件ListView使用方法
09-03
主要介绍了Android编程之控件ListView使用方法,实例分析了ListView控件的相关使用技巧,非常具有实用价值,需要的朋友可以参考下
实例讲解Android app开发中ListView的基本使用及优化
01-04
一、直接使用ListView组件创建 1.直接在XML中创建ListView用entries属性附上一个数组资源 其中divider属性是设置分割线可以使用颜色和drawable资源分割 <ListView android:id=@+id/listView1 android:layout...
Android笔记之:App列表之下拉刷新的使用
01-20
Android的ListView是应用最广的一个组件，功能强大，扩展性灵活(不局限于ListView本身一个类)，前面的文章有介绍分组，拖拽，3D立体，游标，圆角，而今天我们要介绍的是另外一个扩展ListView：下拉刷新的ListView。...
Android控件ListView使用方法详解
01-20
Android控件ListView使用方法介绍，具体如下 一、ListView的简单用法 首先新建一个ListViewTest项目，并让Android Studio自动创建好活动。然后修改activity_main.xml中的代码，如下： <?xml version=1.0 ...
Fiddler抓取安卓手机上网数据2-1
hou09tian的博客
08-11 533
使用Fiddler可以抓取安卓手机的上网数据，主要分为三步：一是配置Fiddler；二是在手机中安装Fiddler的证书；三是配置手机的网络。
使用MybatisPlus+SpringMBVC完成的CUID以及分页查询实现Demo
04-08
使用MyBatisPlus的逆向工程自动生成Mapper接口,xml文件,service接口,service实现以及controller并整合Spring框架完成单表CUID和分页操作，代码讲解请参看：https://blog.csdn.net/u010158540/article/details/79833011
Python-爬虫爬取豆果网和美食网的菜单
08-12
本文主要是介绍如果爬取豆果网和美食网的菜单，并保存在本地，我是以列表的形式保存在TXT文件里，大家有兴趣的可以改一改，下载入数据库或者CSV，json等文件都可以。
fiddler安装与使用
03-03
fiddler安装与使用指导文档，fiddler可以作为前端开发工具，抓包等
豆果美食爬虫代码.zip
03-08
豆果美食app爬虫代码
Python App 爬虫：某美食APP 菜谱爬取
ziazan的博客
05-02 1921
多线程爬取美食APP菜谱分类中的菜谱数据，并存到mongoDB。
通过 scrapy 爬取豆果美食热门数据, 使用 flask 搭建后端, 最后搭建一个简单的小程序
weixin_54707168的博客
06-10 463
项目效果 开始 下载第三方库和微信开发者工具, 在这之前必须要安装 mongoDB(http://mirrors.aliyun.com/mongodb/yum/redhat/8/mongodb-org/4.2/x86_64/RPMS/) (1) 下载 python 第三方库 pip install -r requirements.txt -i https://pypi.douban.com/simple (2) 下载微信开发者工具(https://developers.weixin.qq.com/m
charles+安卓模拟器采集豆果美食app
weixin_40700938的博客
07-13 488
charels,py爬取豆果app
fiddler抓取安卓包
liang2606的博客
06-20 9382
1、配置fiddler允许监听到https（fiddler默认只抓取http格式的）工具（tools）--选项（TelerikFiddler Options） 2、配置fiddler允许远程连接工具（tools）--选项（TelerikFiddler Options）  3、对手机端进行参数设置：（1）前置条件：电脑与手机处于共同的网络（2）然后需要知道电脑的ip地址（3）打开手机浏览器，输入ht...
Android百度云推送接入,附完整代码
meixi_android的博客
06-22 3030
1、创建应用获取api_key百度云推送：http://push.baidu.com/ SDK下载：http://push.baidu.com/sdk/push_client_sdk_for_android 2、添加jar到libs文件下 compile files('libs/galaxy.jar') implementation files('libs/pushser...
Android使用ListView控件实现省份和城市的联动选择和显示。
06-07
要实现省份和城市的联动选择和显示，可以使用两个ListView控件，一个用于显示省份，另一个用于显示城市。当用户选择某个省份时，根据该省份所属的城市列表，更新城市ListView的数据源。 以下是一个简单的实现过程：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值