声明:本文来自腾讯增值产品部官方公众号小时光茶社,为CSDN原创投稿,未经许可,禁止任何形式的转载。
作者:蓝邦珏,腾讯前端工程师,15年加入腾讯SNG增值产品部,期间主要负责过手Q游戏公会、手Q阅读项目的业务开发。业余喜欢折腾前端新技术和写文章。
责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008申请入群,备注姓名+公司+职位。
很多开发的童鞋都是只身混江湖、夜宿城中村,如果居住的地方安保欠缺,那么出门在外难免担心屋里的财产安全。
事实上世面上有很多高大上的防盗设备,但对于机智的前端童鞋来说,只要有一台附带摄像头的电脑,就可以简单地实现一个防盗监控系统。
纯JS的“防盗”能力很大程度借助于H5 canvas的力量,且非常有意思。
Step1. 调用摄像头
我们需要先在浏览器上访问和调用摄像头,用来监控屋子里的一举一动。不同浏览器中调用摄像头的API都略有出入,在这里我们以Chrome做示例:
运行页面后,浏览器出于安全性考虑,会询问是否允许当前页面访问你的摄像头设备,点击“允许”后便能直接在<video>
上看到摄像头捕获到的画面了:
Step2. 捕获video帧画面
光是开着摄像头监视房间可没有任何意义,浏览器不会帮你对监控画面进行分析。所以这里我们得手动用脚本捕获video上的帧画面,用于在后续进行数据分析。
从这里开始咱们就要借助canvas力量了。通过ctx.drawImage()
方法可以捕获video帧画面并渲染到画布上。
我们需要创建一个画布,然后这么写:
如上代码所示,5秒后把视频帧内容渲染到画布上(下方右图):
Step3. 对捕获的两个帧画面执行差异混合
在上面我们提到过,要有效地识别某个场景,需要对视频画面进行数据分析。
那么要怎么识别咱们的房子是否有人突然闯入了呢?答案很简单——定时地捕获video画面,然后对比前后两帧内容是否存在较大变化。
我们先简单地写一个定时捕获的方法,并将捕获到的帧数据存起来:
如上代码所示,画布会每隔500毫秒捕获并渲染一次video的帧内容(访问https://img-blog.csdn.net/20161026202804345查看效果)。
留意这里我们使用了canvas.toDataURL
方法来保存帧画面。
接着就是数据分析处理了,我们可以通过对比前后捕获的帧画面来判断摄像头是否监控到变化,那么怎么做呢?
熟悉设计的同学肯定常常使用一个图层功能——混合模式:
当有两个图层时,对顶层图层设置“差值/Difference”的混合模式,可以一目了然地看到两个图层的差异:
“图A”是我去年在公司楼下拍的照片,然后我把它稍微调亮了一点点,并在上面画了一个X和O得到“图B”。接着我把它们以“差值”模式混合在一起,得到了最右的这张图。
p.s. “差值”模式原理:要混合图层双方的RGB值中每个值分别进行比较,用高值减去低值作为合成后的颜色,通常用白色图层合成一图像时,可以得到负片效果的反相图像。用黑色的话不发生任何变化(黑色亮度最低,下层颜色减去最小颜色值0,结果和原来一样),而用白色会得到反相效果(下层颜色被减去,得到补值),其它颜色则基于它们的亮度水平。
在CSS3中,已经有blend-mode
特性来支持这个有趣的混合模式,不过我们发现,在主流浏览器上,canvas的globalCompositeOperation
接口也已经良好支持了图像混合模式:
于是我们再建多一个画布来展示前后两帧差异:
效果如下(可访问https://img-blog.csdn.net/20161026202843880查看完整动图):
可以看到,当前后两帧差异不大时,第三个画布几乎是黑乎乎的一片,只有当摄像头捕获到动作了,第三个画布才有明显的高亮内容出现。
因此,我们只需要对第三个画布渲染后的图像进行像素分析——判断其高亮阈值是否达到某个指定预期:
注意这里我们使用了
count *= 3
来放大差异高亮像素的亮度值,不然得出的数值实在太小了。我们运行下页面,效果如下(可访问https://img-blog.csdn.net/20161026203043646查看完整动图):
个人觉得如果calcDiff()
返回的比值大于0.20,那么就可以定性为“一间空屋子,突然有人闯进来”的情况了。
Step4. 上报异常图片
当上述的计算发现有状况时,需要有某种途径通知我们。有钱有精力的话可以部署个邮件服务器,直接发邮件甚至短信通知到自己,但本文走的吃土少年路线,就不搞得那么高端了。
那么要如何简单地实现异常图片的上报呢?我暂且想到的是——直接把问题图片发送到某个站点中去。
这里我们选择某站点的“日记”功能,它允许随意上传相关内容。
我们在管理后台创建日记时,通过Fiddler抓包可以看到其请求参数非常简单:
从而可以直接构造一个请求:
当然如果请求页面跟该站点域名不同,则无法发送cookie导致请求跨域而失效,不过这个很好解决,直接修改host即可(怎么修改就不介绍了,自行百度吧)。
我这边改完host,通过http://XXXX.com/h5monitor/final.html的地址访问页面,发现摄像头竟然失效了~
通过谷歌的文档可以得知,这是为了安全性考虑,非HTTPS的服务端请求都不能接入摄像头。不过解决办法也是有的,以Window系统为例,打开cmd命令行面板并定位到Chrome安装文件夹下,然后执行:
Chrome --unsafely-treat-insecure-origin-as-secure="http://i.cnblogs.com/h5monitor/final.html" --user-data-dir=C:\testprofile
此举将以沙箱模式打开一个独立的Chrome进程,并对指定的站点去掉安全限制。注意咱们在新开的Chrome中得重新登录该站点。
这时候便能正常访问摄像头了,我们对代码做下处理,当差异检测发现异常时,创建一份日记,最小间隔时间为5秒:
执行效果(访问https://img-blog.csdn.net/20161026203051740可查看完整动画):
日记也是妥妥地出来了:
点开就能看到异常的那张图片了:
不过这种形式仅能上报异常图片,暂时无法让我们及时收悉告警,有兴趣的童鞋可以试着再写个Chrome插件,定时去拉取日记列表做判断,如果有新增日记则触发页面alert。
另外我们当然希望能直接对闯入者进行警告,这块比较好办——搞个警示的音频,在异常的时候触发播放即可:
最后说一下,本文的代码存放在https://github.com/VaJoy/h5monitor/上,有兴趣的同学请自行下载调试。共勉!
编辑推荐:架构技术实践系列文章(部分):
- 蓝邦珏:来看看机智的前端童鞋怎么防盗
- 陈志兴:让页面滑动流畅得飞起的新特性:Passive Event Listeners
- 唐聪:大规模排行榜系统实践及挑战
- 左明:半小时深刻理解React
- 王照辉:魅族自动化测试架构之路
- 翁宁龙:美团数据库运维自动化系统构建之路
- 何轼:美团外卖订单中心的演进
- 申政:唯品会多线程Redis设计与实现
- 阿刘:千万级用户的Android客户端是如何养成的
- 卜赫:大道至简——React Native在直播应用中的实践
- 陈爱珍:从运维的角度看微服务和容器
- 孙其瑞:VR应用在直播领域上的实践与探索
- 刘丁:bilibili高并发实时弹幕系统的实战之路
- 秦鹏:从应用到平台,云服务架构的演进过程
- 郭炜:从0到N建立高性价比的大数据平台
- 李智慧:宅米网技术变迁——初创互联网公司的技术发展之路
- 陶文质:分布式系统设计的求生之路
- 魏晓军:React Native实践之携程Moles框架
- 学霸君姜波:耳目一新的在线答疑服务背后的核心技术
- 爱乐奇麦凯臻:在线教育的内容研发和技术的迭代创新
- 长虹李玮:老牌消费电子企业如何拥抱Docker
- 徐汉彬:日请求过亿的Web系统PHP7升级实践
- 窦威:AcFun的视频架构演化实践
- 傅鸿城:QQ亿级日活跃业务后台核心技术揭秘
- 宁峰峰:尖峰日96万订单,59校园狂欢节技术架构剖析
- 梁阳鹤:每秒处理10万订单乐视集团支付架构
- 沈辉煌:亿级日PV的魅族云同步的核心协议与架构实践
- 李任:携程Docker最佳实践
- 王海军:游戏研发与运营环境Docker化
- 史海峰:当当网高可用架构之道
- 黄哲铿:应对电商大促峰值的九个方法
- 1号店交易系统架构如何向「高并发高可用」演进
- 京东闫国旗:从C10K到C10M高性能网络的探索与实践
- 李林锋:服务化架构的演进与实践
- 1号店架构师王富平:一号店用户画像系统实践
- 唯品会官华:实现电商平台从业务到架构的治理体系
- 沈剑:58同城数据库架构最佳实践
- 荔枝FM架构师刘耀华:异地多活IDC机房架构
- UPYUN的云CDN技术架构演进之路
- 初页CTO丁乐:分布式以后还能敏捷吗?
- 陈科:河狸家运维系统监控系统的实现方案
- 途牛谭俊青:多数据中心状态同步&两地三中心的理论
- 云运维的启示与架构设计
- 魅族多机房部署方案
- 艺龙十万级服务器监控系统开发的架构和心得
- 京东商品详情页应对“双11”大流量的技术实践
- 架构师于小波:魅族实时消息推送架构