爬虫
文章平均质量分 86
B1u3Buf4
安全分析;威胁情报;入侵检测。前乙方安全实验室,头部互联网甲方反入侵。
展开
-
猫眼电影某页面动态字体bypass
注意本文的版权声明。0x00 起手主要介绍了笔者对猫眼电影https://piaofang.maoyan.com/?ver=normal的动态字体反爬的分析工作和处理。这种字体反爬的手段还经常运用在小说网站中,优点是因为字体非常规字体,即便使用了浏览器模拟访问,也取不到直接数据。不过笔者目前基本已经可以做到自动完成数字和字母,汉字有待进一步测试调试。当然,猫眼其实有一个更好爬的页面:http...原创 2018-10-24 20:44:28 · 596 阅读 · 0 评论 -
使用github的API
github自己有API,如果自己写的爬虫没有特色或者没有很高的效率,反而不如使用API来的快一些。github不像社交网络那样拥有大量用户和内容,所以规模相对小一点,使用API也相对便捷一些。使用github的API没有token的情况下,只有60次访问,而且有的IP直接被限制。除此之外,有一些API在访问的时候必须要认证的参数,所以还是进行认证好一些。官方API文档有详细的功能说明。支持...原创 2018-11-12 17:00:30 · 9920 阅读 · 0 评论