解决火车头采集遇到的Ajax防采集问题,如何采集含有Ajax的网站

在火车头采集过程中,遇到了Ajax防采集问题怎么办?当我们在下载地址中发现每个链接后面的值不一样时,该如何处理?

如类似的情况下,可以通过抓包,在返回的协议头中提取信息。

 

不知道该怎么做?别担心,这里提供了解决方法。只需在宝塔面板中创建两个文件,分别为"ajax防采集.php"和"cxyxt-ck.txt",并将提供的代码复制到"ajax防采集.php"文件中即可解决问题。

您也可以直接获取下载文件。解决Ajax防采集问题,轻松实现火车头的采集目标。

解决反爬 – ajax防采集 php代码 – 火车头调用!

演示地址:https://www.cxyxt.com/30853.html

双击打开 – ajax防采集.php文件 – 需要修改以下两处地方:

// 目标网站的的cookies-填入cxyxt-ck  —  第9行
$cookieUrl = ‘https://你的网址/cxyxt-ck.txt’;

 

// 采集目标网站URL  —  第21行
$url = ‘https://目标网址/wp-admin/admin-ajax.php’;

注:必须修改这两处重要的地方 – 不可直接使用

然后去目标网站F12刷新-获取cookies 【建议使用谷歌浏览器】 粘贴到 宝塔新建的 cxyxt-ck.txt文件里即可完成配置!

火车头采集开启有- ajax反爬的网站方法!

第一步:在源码中找到具有独特性的标签 – 我们需要用火车头采集 页面id

火车头规则 – 获取id即可 – 用参数替换

第二步:创建关联多页编写规则 – 输出结果用 https://www.cxyxt.com/ajax防采集.php?post_id=[参数1]    注:网址需要替换

数据来源 – 关联多页 – 下载地址 – 源码中    正则提取 ^(?<content>[\s\S]*?)$

获取到的数据如下:

<div class=”btn-group btn-block mt-2″ role=”group”><a target=”_blank” href=”https://pan.baidu.com/share/init?surl=*******&pwd=****” class=”btn btn-dark”><i class=”fas fa-download”></i> 百度网盘</a><button type=”button” class=”go-copy btn btn-sm btn-dark” data-toggle=”tooltip” data-placement=”top” title=”点击复制密码” data-clipboard-text=”****”><span>密码:</span>****</button></div>

我们这时候可以直接在关联多页中用正则提取 网盘下载地址  用【参数1】输出即可

<div class=”btn-group btn-block mt-2″ role=”group”><a target=”_blank” href=”[参数]” class=”btn btn-dark”><i class=”fas fa-download”></i> 百度网盘</a><button type=”button” class=”go-copy btn btn-sm btn-dark” data-toggle=”tooltip” data-placement=”top” title=”点击复制密码” data-clipboard-text=”(*)”><span>密码:</span>(*)</button></div>

同理获取下载地址也是一样! 采集时注意,这是post网页访问你的网站-从而采集目标网站的地址 – 采集线程不要开太高
火车头coookies和useraget也别忘了设置 – 采集中cookies会失效的情况 – 会采集不到下载地址 – 需要更换cookies到宝塔cxyxt-ck.txt文件中

下载地址获取到后,也可配合我们的网盘批量转存工具,批量转存提取分享码-发布为自己的网盘链接

  • 12
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
解决ajax跨域问题有多种方法,以下是几种常用的解决方案: 1. 服务器端设置响应头:服务器端可以设置响应头,允许特定的域名进行跨域访问。在服务器端的响应中,添加Access-Control-Allow-Origin字段,并设置为允许访问的域名。例如,可以设置为"*"表示允许所有域名进行访问。这样就能解决跨域问题。 2. JSONP(JSON with Padding):JSONP是一种利用script标签进行跨域请求的方法。它通过在页面中动态创建一个script标签,并指定src属性为目标服务器的接口地址,同时传递一个回调函数的名称作为参数。服务器端在返回数据时,将数据作为参数传递给回调函数,并在页面中执行该回调函数,从而实现跨域请求。 3. 使用代理服务器:可以通过在同一域名下搭建一个代理服务器,将跨域请求发送到代理服务器上,再由代理服务器转发请求到目标服务器。这样就能避免浏览器的同源策略限制,实现跨域请求。 4. CORS(Cross-Origin Resource Sharing):CORS是一种新的标准,通过在服务器端设置响应头来实现跨域请求。服务器在响应中添加Access-Control-Allow-Origin字段,并设置允许访问的域名,浏览器在发送请求时会自动检查响应头,如果允许跨域访问,则请求会成功。 总结:以上是几种常用的解决ajax跨域问题的方法,可以根据自己的需求选择合适的解决方案。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [ajax跨域问题解决方案](https://blog.csdn.net/qingqingxiangyang/article/details/104514704)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [完美解决AJAX跨域问题](https://download.csdn.net/download/weixin_38732315/14824435)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值