效率工具(小黄鸟Reqable)批量提取小程序商城商品名称价格等信息

起因:

好多商家现在用自己的商城小程序给客户报价下单,客户询价总是要频繁登录小程序,浪费时间,下面介绍把小程序商品名称 价格等有用信息一次性弄成一个表格,或者把干脆把它直接导入自己的小程序的方法.

使用工具:

小黄鸟Reqable抓包工具(目前只开一个脚本免费)

安装使用方法参考官网:https://reqable.com/zh-CN/(到这里假设你已经安装好)

实现原理:

利用Reqable抓包,提取网页内容,上面说到的提取小程序商品名 价格只是一个具体应用,其实这个软件只要你在电脑屏幕能看到的东西都能提取出来的,功能非常强大.

实现步骤:

1 打开抓包工具Reqable,把启动前面2个图标系统代理和SSL已启用点成绿色,点击启动.能看到界面内有链接有内容说明软件启动成功,能进行抓包工作了.(这里有个小小的bug,点击了代理以后,退出程序,有时系统代理不能自己取消,系统代理会一直存在,影响有些网页上网,需要手动取消系统代理方法:在windows桌面左下角点设置,双击地球图标网络和internet,点击最下面代理,用手动设置代理把代理关闭,Reqable就彻底退出了)

2 打开电脑版微信,点击小程序面板,打开想要抓包的小程序,

3 点击启动后面的清除按钮,清空内容

4 滚动你需要提取信息的页面,直到你重新看到链接和内容,依次双击链接,看响应体内的内容,直到看到和小程序页面一样的文字,说明你抓包成功,至此,鱼已经进入锅里,只是怎么捡出来的问题了.

5 提取页面信息需要用到Reqable的脚本程序了,点击最上面第五个图标新建脚本,用python编写提取网页内容脚本.先把上面链接复制到URL框内

简单脚本编写,

from reqable import *
import json
def onRequest(context, request):
  return request

def onResponse(context, response): #响应体内容
  response.body.jsonify()  #响应体内容如果是json格式转换成python字典数据
  str_list=response.body['data']['records'] #通过字典数据提取我们需要的数据
  print(str_list[0])  #打印一条数据,分析数据格式,如果这里面有我们需要内容说明提取是正确的
  with open('D:/luntai/shuju.json', 'a',encoding='utf-8') as f:#打开文件准备写入
    for pro in str_list:#因为提取的数据是很多数据在一起的数组,需要分别提取
      mame=pro['skuName']#提取商品名
      print (mame)       #打印商品名
      f.write('{"name":"%s","price":%d}'(pro['name'],pro['price']))把商品名,价格等有用信息写入文件
      f.write("\n")#写入换行符自动换行
  f.close()  
  return response

总结:

通过Reqable我们能把所有我们能看到的网页内容抓包,后面无非就是通过python把内容提取出来的问题,不同的数据类型用不同方法去解析,属于技术性问题了,有兴趣的朋友我们可以一起探讨.