数据爬取-奇技淫巧系列1——抓取隐藏在CDN，防爬代理等服务后面的数据

最新推荐文章于 2024-07-30 15:40:19 发布
最新推荐文章于 2024-07-30 15:40:19 发布
阅读量8k 收藏 4
点赞数
分类专栏： 爬虫 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chijiaodaxie/article/details/80355740
版权

准备写个数据爬取的技巧系列Blog，不定时更新
互联网上爬虫和反爬大战已愈演愈烈，不同段位的选手在相互交锋，有时候爬数据采用比较温和的方式就能获取到，但是碰到难啃的骨头，就必须要采用一些奇技淫巧，于是就有了该系列。
该系列主要提供思路，很少涉及细节

系列第一篇，主要对付隐藏在CDN，防爬代理服务器后面的网站，怎么做呢，分如下几步：

  1. 想方设法找到网站的真实IP（比如找子域名，多节点Ping，查找历史解析等等）；
  2. 劫持目标域到该真实IP；
  3. 这样就能绕过中间层的防护，直接对垒原始站点。

完

爬虫支撑的网站示例：InsDear

友link:Instagraw - instagram viewer

tianxingzheaa
关注
专栏目录
CDN排查
huof的专栏
01-22 2274
https://help.aliyun.com/knowledge_list/8314940.html?spm=5176.doccdn/tool/cdnlog-tool.6.243.QQzNCD http://www.qcloud.com/wiki/CDN%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98 使用CDN加速后，网站无法访问
CSP-J2019游记——退役宣言
qq_45529607的博客
11-16 864
今天，参加了CSP，发现4道题好简单困难，我绝对要凉了。 为了给以后的队员留下一点财富（摘自全国著名信竞教练周垂原言），总结一下参赛和训练的感受。 一、CSP初赛很重要 如果初赛不准备充足，很有可能退役，所以准备好初赛成为了每届Oier的首要任务，无论是j还是s都要过初赛，才能参加复赛，才有希望（受打击）。 二、复赛要奇技淫巧 CSP2019-J组的题目难易结合，有一定的挑战性。但其中有一定的（...
利用Http Analyzer与RCurl抓取脚本中隐藏的数据
Jansii的专栏
08-19 1183
hello、
公布一批脸书爬虫（facebook）IP地址，真实采集数据
最新发布
尚贤达谭工的博客
07-30 2217
1、对网站没什么危害，但抓取网站频繁，对资源消耗较大，如果不做境外业务，可能通过防火墙阻止。2、数据采集时间段：2023年10月-2024年7月；1、这批脸书爬虫（facebook）IP来源于尚贤达。二、脸书爬虫（facebook）主要有4个用户代理。3、判断标准：主要根据用户代理是否包含“用户代理（UserAgebt）
信息收集（1）CDN篇
weixin_43954246的博客
02-19 696
文章目录什么是CDN如何判断目标存在CDN服务 什么是CDN CDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。但在安全测试过程中，若目标存在CDN服务，将会影响到后续的安全测试过程。 如何判断目标存在CDN服务 1.可以访问http://ping.chinaz.com/，他会借助全国各
常用CDN收集
疯狂的简洁
03-22 922
说明 记录一些CDN 七牛云 ( 支持HTTPS) Bootstrap 中文网开源项目免费 CDN 加速服务(库比较新，建议使用) 开放静态文件 CDN 又拍云JS库 http://jscdn.upai.com/ (常用JavaScript库CDN服务) BootstrapCDN https://www.bootstrapcdn.com/ ...
0906信息采集-CDN相关
weixin_44418203的博客
09-07 475
信息采集-CDN相关
【奇技淫巧】子程序直接传非基本数据类型-易语言
06-11
不支持取含非基本数据类型参数的子程序地址，于是就有了这个骚方法来处理这个问题。 本程序可以说是处理这个问题用的代码最少的，请看： 这个取 子程序地址是在子程序内部进行的，完美地规避了 不支持取含 非基本...
Go-Git的奇技淫巧
08-14
在这个“Go-Git的奇技淫巧”中，我们将探讨一些高级和实用的Git技巧，以及如何使用Go来进一步操作Git。 1. **分支管理**：Git的分支机制允许开发者在同一项目上并行工作。`git branch`命令用于创建、查看和切换分支...
【CSS奇技淫巧】filter drop-shadow 的妙用——处理深色logo适配深色背景
Erdon_Jia_N的博客
05-18 1640
背景：最近，在写前端页面的过程中，遇到一个情景，需要在深色背景下放置一个logo，但是拿到的素材只有又一个深色的logo，放上去之后，logo背景糊在了一起，无法直视。 如下图： 我们可以使用 css 的 filter 对图片进行处理，show you my code ~ 首先，使用 filter: drop-shadow(0px 150px 0px white); 对图片进行处理，效果如下： 可以看到，白色的icon正是我们想要的效果。但是位置好像不太对，没关系，我们可以利用 css3 的 tra.
CDN介绍
sms鱼的博客
04-23 518
什么是CDN？ CDN即内容分发网络，全称为(content delivery network) 下面内容采集自知乎： https://www.zhihu.com/question/36514327 CDN是将源站内容分发至最接近用户的节点，使用户可就近取得所需内容，提高用户访问的响应速度和成功率。解决因分布、带宽、服务器性能带来的访问延迟问题，适用于站点加速、点播、直播等场景。 （本章节部分内容...
讨论如何抓取使用cdn背后网站的源ip地址
Enweitech Software Works
06-18 9470
漏洞概要关注数(27) 关注此漏洞 缺陷编号： WooYun-2014-64512 漏洞标题： 某方法可以无视CDN查找真实IP导致真实站点遭受DDOS或入侵 相关厂商： 各大云防护厂商 漏洞作者： 苦咖啡 漏洞类型： 设计缺陷/逻辑错误 危害等级： 高 自评Rank： 16 漏洞状态： 已交由第三方合作机构(cncert国家互联网应
请求到了CDN，但是CDN没有下发视频数据流m3u8-----抓包心得
kyd6873的博客
06-18 3715
没有请求到CDN的电视剧视频流-----抓包心得 首先打开抓包pcapng文件,在过滤器栏中输入http.request.method ==GET and (tcp contains .m3u8) 查看得到的视频流。图片 通过图片，可以看到域名解析的IP是39.156.2.14 根据这个IP地址，追踪http流得到 图片 图片 从中我们看到，IP39.156.2.14是服务器，IP 192.168.137.18是本地电脑端，服务器并没有传输视频数据，Len数据长度是0 图片 说明服务器CDN没有发送任何
CDN服务及如何获取CDN服务背后的真实IP
热门推荐
Sp4rkW的博客
01-16 2万+
CDN原理 首先，为了对CDN进行获取真实IP，我们必须清楚CDN的工作原理，这里我们再来简单介绍一下CDN的工作模型。 CDN的全称是Content Delivery Network（内容分发网络），通过在网络各处的加速节点服务器来为网站抵挡恶意流量，把正常流量进行转发。用简单点的话来说，CDN一般有三个作用： 跨运营商加速：我们自己的网站常常只属于一个运营商(比如：电信)，而加速...
CDN问题排查：劫持下tcp三次握手分析
lotluck的专栏
08-21 469
一、问题 直观感受就是curl 好像卡住了，一直不通。 但是ping， telnet正常，大概率被劫持了，客户端和服务端抓包即可 二、分析 1.服务端抓包 tcpdump -i any port 80 and host 1.1.1.1 -w 6.cap 2.客户端抓包 从抓包可以得出， 客户端 和 服务端 三次握手成功了，客户端发起get请求，在客户端看来服务端没有响应。客户端觉得是不是三次握手的ack消息难道我没发成功？ 客户端就退回到三次握手阶段，连续给服务端发送三次握手的ack消息。 从抓包
CDN缓存的原理是什么？CDN网络资源获取过程
Blue92120的博客
03-22 307
CDN：Content Delivery Network，即内容分发网络，它是构建在现有网络基础上的虚拟智能网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、调度及内容分发等功能模块，使用户在请求所需访问的内容时能够就近获取，以此来降低网络拥塞，提高资源对用户的响应速度。回源指的是如果未在CDN缓存服务器上查找到目标资源，或CDN缓存服务器上的缓存资源已经过期，则重新追溯到网站根服务器获取相关资源的过程。2、解析出的结果IP地址并非确定的CDN缓存服务器地址，而是CDN的负载均衡器的地址。
使用CDN的User-Agent反爬虫（附名单）
可定博客
04-16 632
我的主博客是可定博客(https://wnag.com.cn/) 原文链接：使用CDN的User-Agent反爬虫（附名单） 这几天发现CDN上的钱去的有点快，后台一查，有爬虫在后台爬了几千次，还是自己不认识的。因此如果你有用CDN的话，可以用CDN的User-Agent反爬虫。 这里以又拍云为例，CDN后台 - 访问控制 - User-Agent防盗链 附下一些恶意爬虫的名单： *Feed...
CDN绕过
adaosanqian的博客
03-22 1016
CDN全称为：Content Delivery Network，即内容分发网络CDN依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取内容，降低网络延迟，提高访问速度。大白话来讲，CDN也是服务器，而这个服务器的作用，让我们来举个栗子说明：如果一家公司的主服务器设置在新疆，而我在河南，那么我直接去访问服务器会因为距离问题非常慢、甚至可能因超时而导致无法连接。
数据结构中能判断有环
08-24
数据结构中能够判断是否存在环的方法之一是使用快慢指针法。该方法适用于链表和图等数据结构。快慢指针法的基本思想是使用两个指针，一个指针每次移动一个节点，而另一个指针每次移动两个节点。如果存在环，则两个指针最终会相遇。 另一种方法是使用深度优先搜索（DFS）或广度优先搜索（BFS）来遍历图或树。在遍历过程中，如果遇到已经访问过的节点，则说明存在环。 综上所述，数据结构中能够判断是否存在环的方法包括快慢指针法和深度优先搜索或广度优先搜索。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [算法数据结构中有哪些奇技淫巧？](https://blog.csdn.net/lyshark_lyshark/article/details/126792526)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [JavaScript版数据结构与算法](https://blog.csdn.net/qq_46345868/article/details/124532434)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值