记一次爬虫实践(一):思路及模拟登录

需求背景

因为我们的应用通常运行在h5上,因此图片格式选择了加载较快的webp格式,但是运营提起有在pc上批量下载图片(要求图片格式)的需求,目前比较麻烦,需要登录h5-找到接口中对应图片资源-一张张另存为到本地。

心得

以前学习过python,但是没有实践的机会,因此忘得很快。
这次带着目的去学习,收获很多。

实现思路

思路一:我第一时间就想到了python,根据id爬取正文接口中的所有图片,然后将图片下载到本地,进行打包,然后返回给用户打包后的下载链接。

思路二:开发一个chrome插件,下载当前页面中的所有图片。(可能有干扰,会下载不需要的其他图片,需要会前端一些知识,实现成本较大。)

故选择思路一实现。

实现步骤

  • 实现模拟登录
  • 爬取接口中的imgs
  • 下载imgs到本地
  • 打包imgs
  • 完成打包后,删除本地imgs
  • 返回打包的zip包地址

本篇先重点介绍一下模拟登录的两种方法:

模拟登录接口登录

因为涉及账号隐私,请允许我打个码。
以我司网址为例,

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值