架构师教你免广告看视频(送书)

点击上方“架构师小秘圈”,选择“置顶公众号”

关键时刻,第一时间送达!

作者简介:某互联网公司P8级专家攻城狮曾参与过央视全台网的研发工作。目前正在做车联网项目的云平台的架构设计与研发工作。

原文出处:互扯程序

写在前面

本文主要目的是交流学习 Charles 抓包工具的使用技巧,以及给大家分享一下分析问题的思路,欢迎大家评论转发,但不能以盈利为目的行为。广告对于内容提供商来说是重要的财务来源,请大家多多看广告,这样才能促使内容提供商发布更多的内容供大家欣赏。

这篇文档是 Charles 抓包工具的高级用法,如何下载安装以及怎样配置,请看我上一篇关于 Charles 的介绍。

前几天写了 DNS 域名解析的文章,在写的过程中让我又加深了对域名解析的理解,然后又结合 Charles 抓包工具,所以突发奇想,能不能做点好玩的事情呢?那我们就继续我们今天的主题吧!

如何使用抓包神器 Charles?

移动互联网的发展,促使各大商家的广告投放从传统媒介转移到了移动设备终端,所以我们在使用各种视频 App 的时候,会有大量的广告来缓解我们的“视觉疲劳”。哈哈,追剧的人趁着广告休息休息自己的眼睛。那不想休息的人呢?2_05.png?wx_lazy=1怎么把广告去掉呢?那就要使用我们的抓包神器 Charles 了,我们把整个抓包过程和分析过程按照步骤一一写出了,供大家学习交流。

  • 第一步先去掉系统代理(系统代理默认是打开的),因为这样减少数据量,方便我们观察。

  • 第二步配置 SSL 证书,因为很多视频 App 发送的部分请求是 HTTPS 的。

  • 第三步配置手机代理。

以上三步在上一篇的 Charles 教程里都有,不了解的同学先移步过去按照过程配置一下,支持 Windows 和 Mac,完成之后就可以一步步地跟着我下面的教程继续了。

去除优酷视频 App 广告

打开优酷 App,这时候你会发现一堆的请求被我们截取到,这些基本没用,全部清空。然后,随便选择一个视频,点击打开,我们又拦截到了一堆的请求,这时候视频里的广告开始播放,OK,这些抓取到的数据,其中就有广告数据。那我们就专心关注这些数据,一一打开观察一下,后续再进来的请求基本没用了,我们记录下来最后位置。

640?wx_fmt=png

640?wx_fmt=png

观察一下返回的 JSON 数据,看看哪个比较像,有一些返回图片的请求肯定不是了,可以配置排除抓取这些请求,不再抓这样的包,减少我们要关注的请求量。

640?wx_fmt=png

打开 Proxy -> Recoding Settings... 加入要排除的抓包请求,然后清空页面,重新点开视频,这时候我们排除请求就看不到了。

640?wx_fmt=png

但是还是有一堆请求,该怎么办呢?用一个简单的原理(想要了解的话,可以看看我上一篇关于 DNS 的文章,不了解也不影响我们继续下面的教程),把这些域名重定向到另外一个不存在的服务地址,右键 -> 选择 Map Remote。

640?wx_fmt=png

这里我们把它重定向到本机地址不存在的服务端口:

640?wx_fmt=png

一个一个的修改尝试,把所有域名都改一遍,修改一个,点击一下手机视频,看看是否播放正常。

640?wx_fmt=png

当你发现广告不播了,提示错误,这说明你找到了那个关键的请求。

640?wx_fmt=png

找到这个请求,去掉重定向,发现播放又正常了,OK,确认了我们要找的请求数据。

其实就是 https://ups.youku.com。

下面我们开始分析这个请求:

640?wx_fmt=png

我们把返回的 JSON 数据 Copy 出来放到 JSON 浏览工具里:

640?wx_fmt=png

从这个 JSON 来看,ad 应该就是广告了,而 Stream 就是实际的视频流了。我们点击打开 ad 看到了一堆的连接地址。

640?wx_fmt=png

随便 Copy 一个放到浏览器里,就会播放广告了。从分析来看,优酷的广告是分段的,每一小段的广告组成了他将近两分钟的广告内容。

640?wx_fmt=png

顺便看看 Stream 的内容,同样是一堆的 URL 地址,随便打开一个,这就是实际播放的视频了,从分析来看,同样也是一个片段一个片段组成的一个完整的视频。

640?wx_fmt=png

到这儿,大家是不是觉得有点意思啊。同时也会有一个疑问,怎么把广告去掉呢?我们先不着急得到最终答案,先来看看另外一个新功能。我们把刚才的 JSON 数据,保存到桌面,命名为"ups.JSON"备用。然后选中 https://ups.youku.com,右键选择 Map Local,然后点击 Choose 选择刚才备份的那个文件,然后点击 OK。

640?wx_fmt=png

然后看看效果,刚才我选择的连续剧里面的其中一集,现在不管选择哪一集,播放的都是刚才那一集。是不是很神奇?聪明的朋友已经想到这是为什么了。我们来讲一下 Map Local 的作用是什么?

  • Map Remote 这个在上一遍文章里已经讲过,代理转发,或者叫请求重定向,把一个请求地址转发到另外一个地址去处理,Remote 是远程,意思把这个请求重定向到另外一个远程的地址上。

  • 而 Map Local,顾名思义,就是把请求重定向到本地。而本地的文件里模拟的就是请求的返回结果。所以说,他每次的请求都会被重定向到同一个地方,返回同样的数据,所以不管点击任何一个节目,都会播放我们选择的那条数据。

OK,那么我们该怎么处理广告呢?我们已经找到了广告的那段数据,我们尝试修改广告的请求地址,改到任意一个不存在的地址,这样播放器就下载不到这个广告,就无法进行播放了。

大家会不会认为既然广告不能播了,那我们要看的电视剧还能正常播放吗?这是一个很好的问题,试想一下,哪个 App 会因为网络不通畅导致广告没播成,就不再继续请求视频数据了?这样用户将大量流失,他们肯定会做容错处理的。

我们先来改改试试,打开刚才保存的 ups.JSON 文件,找到 ad,然后修改里面的地址,然后保存。

640?wx_fmt=png

我们再重新点击手机视频,还是有广告播放,这是因为之前播过广告了,App 进行了缓存。我们需要操作一下 App,清除缓存。选择 我的 -> 设置(右上角)

640?wx_fmt=png

再次点击视频。发现一直在旋转等待,等了半天,没播广告,播视频了。旋转等待的原因,是由于我们给了一个无效的广告地址,他去请求,但是请求不到,一直等到超时返回,才继续播放视频。

到这,广告没了,大功告成了?没有,这样做也太 low 了。还不如看广告呢......

前面讲的都是分析过程,最后我们要放大招了。把之前所有的配置全都删除掉,重新来,其实就一步搞定。那为什么要啰嗦半天呢?如果不啰嗦半天,我们学不到东西啊。过程永远比结果更重要。

我们根据刚才的分析结果:“如果找不到广告,App 会进行容错,继续播放视频”,我们要动态改写返回结果,把 ad 改成 ad1。那么 App 找不到 ad 属性,将解析不到广告内容,便不会播放广告,而是会继续播放视频,一点卡顿都没有,因为不像是之前给了个假地址,需要等待超时时间。

Tool -> Rewrite...

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

OK,大功告成。去 App 里点击试试看吧。

640?wx_fmt=png

接下来我们再看,如何去除腾讯视频的广告,其实更简单

打开腾讯视频 App,这时候你会发现一堆的请求被我们截取到,这些基本没用,全部清空,然后随便选择一个视频,点击打开,我们又拦截到了一堆的请求,这时候视频里的广告开始播放,OK,这些抓取到的数据,其中就有广告数据。那我们就专心关注这些数据,一一打开观察一下,后续再进来的请求基本没用了,我们记录下来最后位置。

640?wx_fmt=png

640?wx_fmt=png

分析腾讯视频的请求的方法和分析优酷视频的请求方法是一样的,点击每一个请求观察一下。

只有 https://lives.l.qq.com 这一个请求有大量的 JSON 数据,比较靠谱。

640?wx_fmt=png

把 JSON Copy 出来放到 JSON 编辑器查看。并将 JSON 里每一个 URL Copy 到浏览器里打开看看,你会发现广告可以在浏览器里直接播放。证明我们的判断是正确的,这个请求就是获取广告的请求。

640?wx_fmt=png

每一个连接都看一遍后,比较庆幸的是,发现只有广告,并没有正片内容,它不像是优酷截取的数据那样,广告和正片是放到一个 JSON 数据里进行返回的。对优酷的广告进行过滤的时候需要对 JSON 进行内容的修改,因为不能影响正片的播放。

所以对腾讯视频的广告进行过滤非常简单,只要把获取广告的这个请求 URL 屏蔽即可。怎么做呢?非常简单。

还记得我们上一章讲的 Map Remote 吗?把 htts://lives.l.qq.com/livemsg 重定向到一个无效的地址即可,这样 App 在获取广告数据的时候获取不到,为了容错直接跳过播放广告,直接去获取正片的数据进行播放了。

640?wx_fmt=png

640?wx_fmt=png

配置完成之后重新播放视频就会发现它不再播放广告了。欧耶✌,腾讯视频过滤广告完成。

本文为作者投稿,欢迎更多朋友进入网址:3xmq.com 投稿,一起为程序员传播更具价值的优质内容。

赠书环节:

电子工业出版社,博文视点分社,又给架构师小秘圈技术社区送福利了,赠书!赠书!赠书!重要的事情说三遍!而且是连续赠送三天,今天是第一天!

0?wx_fmt=jpeg

作者介绍:

杨恩雄,从事十多年的Java EE企业应用开发,曾任中企动力系统设计师、中企开源项目经理、数码辰星科技公司项目经理,参与过多个企业级项目的设计与架构工作。曾负责辰星“电影票网络销售系统”的整体架构,精通ActivitiDroolsESB等开源技术,在SOASaaS、大数据应用、互联网系统架构方面有着丰富的经验,曾出版《疯狂Java实战演义》《疯狂Workflow讲义》等书籍。

读书摘要:

Java语言经过多年的发展,从开始的EJB + Servlet的开发模式,到后来的轻量级Java EE开发模式,每一种架构或开发模式的出现,都牵动着万千程序员的心。程序员是一个求知若渴的群体,也是一个容易接受新知识的群体,为了学习新技术,多少人食不知味、夜不能寐。笔者有幸成为一名平凡的程序员,从业十余年,面对各种新技术,时常怀着一颗谦卑的心不停前进,只有学习,才能带来快乐,才不会被淘汰。如今spring cloud微云架构的时代来了,这本书以实战的角度带您开启微云之旅!

获奖规则:

规则一:在文末说出您对微服务的看法,获赞第一名,获得该书!

规则二复制网址:http://www.3xmq.com/article/1514468734123  到浏览器,点击右下角红色按钮,发表您对微服务的看法,获赞第一名,获得该书!

截止时间2017年12月30日18点整

推荐阅读:

技术:分布式事务架构实践

技术:分库分表架构实践

技术:数据库连接池极简教程

技术:高效sql性能优化极简教程

技术:分布式唯一ID极简教程

揭秘:一线互联网薪资曝光,看看你的价值,有没有被低估?

分享:2T架构师学习资料干货分享

觉得有帮助?请转发给更多人!

0?wx_fmt=png0?wx_fmt=png

架构师小秘圈,聚集10万架构师的小圈子!不定期分享技术干货,行业秘闻!汇集各类奇妙好玩的话题和流行动向!长按左侧图片,扫码加入架构师微信群!

阅读更多 登录后自动展开
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页