本博客用于个人学习与工作中的收获
前言
前两天被安排了一个没有接触过的爬取微信小程序中数据的任务,虽然我是连爬虫貌似都还没写过的实习仔,但是想着应该不难,那可不就信心满满地接下任务了。然后第一天,一整天都在查资料看python爬虫相关的东西,什么urllib
、BeautifulSoup
,虽然一天下来我也就记得个流程了,但至少知道是个啥了,也算是个有收获(摸鱼)的一天了。
结果到了第二天搜索爬取微信小程序相关的内容,结果发现貌似不太对,微信小程序我好像直接拿不到地址啊,那我的urllib.request
就没有用武之地了啊,这可咋办?通过查阅资料发现微信小程序虽然把地址啥的都封装起来了,但是好像可以通过Fiddler
和 Charles
等抓包工具抓到数据包。行吧,那就马上安排起来!开整!要是抓到包了总可以拿到数据或者地址啥的了吧!
准备工作
-
下载
Fi