在火车头采集过程中,遇到了Ajax防采集问题怎么办?当我们在下载地址中发现每个链接后面的值不一样时,该如何处理?
如类似的情况下,可以通过抓包,在返回的协议头中提取信息。
不知道该怎么做?别担心,这里提供了解决方法。只需在宝塔面板中创建两个文件,分别为"ajax防采集.php"和"cxyxt-ck.txt",并将提供的代码复制到"ajax防采集.php"文件中即可解决问题。
您也可以直接获取下载文件。解决Ajax防采集问题,轻松实现火车头的采集目标。
解决反爬 – ajax防采集 php代码 – 火车头调用!
演示地址:https://www.cxyxt.com/30853.html
双击打开 – ajax防采集.php文件 – 需要修改以下两处地方:
// 目标网站的的cookies-填入cxyxt-ck — 第9行
$cookieUrl = ‘https://你的网址/cxyxt-ck.txt’;
// 采集目标网站URL — 第21行
$url = ‘https://目标网址/wp-admin/admin-ajax.php’;
注:必须修改这两处重要的地方 – 不可直接使用
然后去目标网站F12刷新-获取cookies 【建议使用谷歌浏览器】 粘贴到 宝塔新建的 cxyxt-ck.txt文件里即可完成配置!
火车头采集开启有- ajax反爬的网站方法!
第一步:在源码中找到具有独特性的标签 – 我们需要用火车头采集 页面id
火车头规则 – 获取id即可 – 用参数替换
第二步:创建关联多页编写规则 – 输出结果用 https://www.cxyxt.com/ajax防采集.php?post_id=[参数1] 注:网址需要替换
数据来源 – 关联多页 – 下载地址 – 源码中 正则提取 ^(?<content>[\s\S]*?)$
获取到的数据如下:
<div class=”btn-group btn-block mt-2″ role=”group”><a target=”_blank” href=”https://pan.baidu.com/share/init?surl=*******&pwd=****” class=”btn btn-dark”><i class=”fas fa-download”></i> 百度网盘</a><button type=”button” class=”go-copy btn btn-sm btn-dark” data-toggle=”tooltip” data-placement=”top” title=”点击复制密码” data-clipboard-text=”****”><span>密码:</span>****</button></div>
我们这时候可以直接在关联多页中用正则提取 网盘下载地址 用【参数1】输出即可
<div class=”btn-group btn-block mt-2″ role=”group”><a target=”_blank” href=”[参数]” class=”btn btn-dark”><i class=”fas fa-download”></i> 百度网盘</a><button type=”button” class=”go-copy btn btn-sm btn-dark” data-toggle=”tooltip” data-placement=”top” title=”点击复制密码” data-clipboard-text=”(*)”><span>密码:</span>(*)</button></div>
同理获取下载地址也是一样! 采集时注意,这是post网页访问你的网站-从而采集目标网站的地址 – 采集线程不要开太高
火车头coookies和useraget也别忘了设置 – 采集中cookies会失效的情况 – 会采集不到下载地址 – 需要更换cookies到宝塔cxyxt-ck.txt文件中
下载地址获取到后,也可配合我们的网盘批量转存工具,批量转存提取分享码-发布为自己的网盘链接