客户端浏览器爬虫在爬取动态生成的img元素及动态设置src属性的问题

问题:

1、img元素的onload设置后,设置/修改其src属性不会触发onload回调,因此你无法知道页面中的动态图片什么时候加载完,暂时只能setTimeout 5秒;

2、页面JS捕获了scroll事件以做到延迟加载,这种情况下可以调用img Element的scrollIntoView,但问题是这个API设计得有问题,W3C那帮人就是白痴,照理说应该和ES6 JavaScript的Promise API相互结合起来,否则你不知道一个异步的UI状态改变的调用什么时候真正完成了

3、PhantomJS倒是可以设置clipRect然后截屏,这样重新编码可以把图片内容取出来,纯JS也可以使用canvas元素中转一下,然后取出Blob或者Data URL。但纯JS居然没有一个可以获取图片元素原始数据的方法?!

4、可以假设一个http(s)代理服务器脚本,将所有的图片请求的响应body数据都存储起来。问题是,目前还真没有一个好用的proxy脚本实现,比方说Node.js倒是有一个http-proxy第3方库,但是Node里的Stream支持pipe很方便,想clone则很麻烦。而且IO操作一般都是异步触发+注册回调函数的风格。Python里面虽然有强大的类库,包括产品级别性能的Twisted,可那都是类库形式,居然就没一个好用的demo演示脚本!

5、如果使用假设本地代理服务器来截获保存图片数据的话,则headless浏览器内的JS爬虫需要一种方法获得此数据,为此需要一个一致的命名风格,比如说,基于原始url重新映射为一个本地文件系统的文件名。不过这个转换算法需要仔细考虑。(/、?等特殊字符映射为什么别的字符呢)

6、图片格式的问题,现在Web上可用的图片格式有:jpg、bmp、png、webp、gif、svg。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值