php采集模拟点击伪造IP,伪造浏览器useragent伪造来源防反爬虫例子

最新推荐文章于 2021-08-10 20:29:24 发布
最新推荐文章于 2021-08-10 20:29:24 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： php高级技巧

先上两个文件 index.php  一个curl.php

index.php是我们要采集的。以下是源码

[html]  view plain  copy
  1. $client_ip = getip();  
  2. $referer = getreferer();  
  3.   
  4. $allow_ip = '192.168.1.100';  
  5. $allow_referer = 'http://www.amztool.cn';  
  6. $useragent=$_SERVER['HTTP_USER_AGENT'];  
  7. plog( 'client_ip='.$client_ip." || useragent=".$useragent.' ');  
  8. echo '<br>client_ip=';  
  9. echo $client_ip;  
  10. echo " || useragent=";  
  11. echo $useragent;  
  12.   
  13. echo '<hr><br>';  
  14. // 获取访问者ip  
  15. function getip(){  
  16.     if(!empty($_SERVER['HTTP_CLIENT_IP'])){  
  17.         $cip = $_SERVER['HTTP_CLIENT_IP'];  
  18.     }elseif(!empty($_SERVER['HTTP_X_FORWARDED_FOR'])){  
  19.         $cip = $_SERVER['HTTP_X_FORWARDED_FOR'];  
  20.     }elseif(!empty($_SERVER['REMOTE_ADDR'])){  
  21.         $cip = $_SERVER['REMOTE_ADDR'];  
  22.     }else{  
  23.         $cip = '';  
  24.     }  
  25.     return $cip;  
  26. }  
  27.   
  28. // 获取访问者来源  
  29. function getreferer(){  
  30.     if(isset($_SERVER['HTTP_REFERER'])){  
  31.         return $_SERVER['HTTP_REFERER'];  
  32.     }  
  33.     return '';  
  34. }  
  35.   
  36. function plog($message){  
  37.     $file=__DIR__."/text.txt";  
  38.   
  39.      if($f  = file_put_contents($file, $message."\r\n",FILE_APPEND)){// 这个函数支持版本(PHP 5) 打印到文件  
  40.   
  41.         }  
  42. }  

再上curl.php 这个文件是用来采集的执行文件

[html]  view plain  copy
  1. $ch = curl_init();  
  2. $curlurl = "http://www.amztool.cn/index.php";  
  3. $referurl = "http://www.amztool.cn";  
  4. $ip=mt_rand(11, 191).".".mt_rand(0, 240).".".mt_rand(1, 240).".".mt_rand(1, 240);   //随机ip  
  5. $agentarry=[  
  6.     //PC端的UserAgent  
  7.     "safari 5.1 – MAC"=>"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",  
  8.     "safari 5.1 – Windows"=>"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",  
  9.     "Firefox 38esr"=>"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",  
  10.     "IE 11"=>"Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",  
  11.     "IE 9.0"=>"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0",  
  12.     "IE 8.0"=>"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",  
  13.     "IE 7.0"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",  
  14.     "IE 6.0"=>"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",  
  15.     "Firefox 4.0.1 – MAC"=>"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",  
  16.     "Firefox 4.0.1 – Windows"=>"Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",  
  17.     "Opera 11.11 – MAC"=>"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",  
  18.     "Opera 11.11 – Windows"=>"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",  
  19.     "Chrome 17.0 – MAC"=>"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",  
  20.     "傲游（Maxthon）"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",  
  21.     "腾讯TT"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",  
  22.     "世界之窗（The World） 2.x"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",  
  23.     "世界之窗（The World） 3.x"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",  
  24.     "360浏览器"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",  
  25.     "搜狗浏览器 1.x"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",  
  26.     "Avant"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",  
  27.     "Green Browser"=>"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",  
  28.     //移动端口  
  29.     "safari iOS 4.33 – iPhone"=>"Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",  
  30.     "safari iOS 4.33 – iPod Touch"=>"Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",  
  31.     "safari iOS 4.33 – iPad"=>"Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",  
  32.     "Android N1"=>"Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",  
  33.     "Android QQ浏览器 For android"=>"MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",  
  34.     "Android Opera Mobile"=>"Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",  
  35.     "Android Pad Moto Xoom"=>"Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",  
  36.     "BlackBerry"=>"Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",  
  37.     "WebOS HP Touchpad"=>"Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",  
  38.     "UC标准"=>"NOKIA5700/ UCWEB7.0.2.37/28/999",  
  39.     "UCOpenwave"=>"Openwave/ UCWEB7.0.2.37/28/999",  
  40.     "UC Opera"=>"Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",  
  41.     "微信内置浏览器"=>"Mozilla/5.0 (Linux; Android 6.0; 1503-M02 Build/MRA58K) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/37.0.0.0 Mobile MQQBrowser/6.2 TBS/036558 Safari/537.36 MicroMessenger/6.3.25.861 NetType/WIFI Language/zh_CN",  
  42.    // ""=>"",  
  43.   
  44. ];  
  45. //$useragent="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11";  //要得到类似这样useranget 可以自定义  
  46. $useragent=$agentarry[array_rand($agentarry,1)];  //随机浏览器useragent  
  47. $header = array(  
  48.     'CLIENT-IP:'.$ip,  
  49.     'X-FORWARDED-FOR:'.$ip,  
  50. );    //构造ip  
  51. curl_setopt($ch, CURLOPT_URL, $curlurl); //要抓取的网址  
  52. curl_setopt($ch, CURLOPT_HTTPHEADER, $header);  
  53. curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);  
  54. curl_setopt($ch, CURLOPT_REFERER, $referurl);  //模拟来源网址  
  55. curl_setopt($ch, CURLOPT_USERAGENT, $useragent); //模拟常用浏览器的useragent  
  56.   
  57. $page_content = curl_exec($ch);  
  58. curl_close($ch);  
  59. echo $page_content;  

这两个文件放在同一目录，目录下新建一个text.txt文件用来记录采集的仿问的ip和useragent头。
my0592
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jquery插件推荐浏览器嗅探userAgent
10-25
里给大家推荐一款浏览器嗅探的jQuery插件useragent，兼容各大浏览器，在做项目的时候经常要用到，非常的实用
Python爬虫小技巧之伪造随机的User-Agent
12-24
前言 不管是做开发还是做过网站的朋友们，应该对于User Agent一点都不陌生，User Agent 中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等 在Python爬虫的过程中经常要模拟UserAgent, 因此自动生成UserAgent十分有用 通过UA来判断不同的设备或者浏览器是开发者最常用的方式方法，这个也是对于Python反爬的一种策略，但是有盾就有矛啊 写好爬虫的原则只有一条: 就是让你的抓取行为和用户访问网站的真实行为尽量一致 1、伪造UA字符串，每次请求都使用
php采集时被封ip的解决方法
01-20
在网上找了一些资料都没有找到，功夫不负有心人啊，在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了，列出我的解决方法, 1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。 查看搜索引擎爬虫的USERAGENT值：https://www.jb51.net/yunying/29357.html 2.使用Snoopy或curl传referer值。 如：$snoopy->referer = ‘http://www.google.com’; $header[] = “Referer: http://www.google.com/”; 3.使用S
js识别不同浏览器基于userAgent做判断
10-25
本节主要介绍了js识别不同浏览器依据是userAgent，需要的朋友可以参考下
fingerprint:用PHP实现指纹
05-12
指纹 是Google Refine（后来的OpenRefine）开发的一种算法。 对原始算法的（可选）改进以粗体显示。 删除前导和尾随空格 将所有字符更改为小写形式 删除所有标点和控制字符 将扩展的西方字符归一化为其ASCII表示形式（例如“gödel”→“ godel”） 应用同义词 应用清除 将字符串分成空格分隔的标记 排序令牌并删除重复项 将令牌重新结合在一起 音译是原始算法中最慢的部分，如果您主要使用英语，那会浪费时间。 原始算法具有局限性，因为它会丢失所有同义词和删除内容。 同义词和删除是基于英语的，因此它只能使用英语以外的其他语言来使用设备。 考虑如下标题： 销售和营销副总裁 市场与销售副总裁 销售和营销副总裁 副总裁-销售和市场推广...（按字面意思，还有100种以上的书写方式） 用例 简单快速的数据集群。 对数据库中的相似值进行标准化和分组。 在这种情况下，用户以
PHP CURL CURLOPT的参数说明
sh2018的博客
06-10 3331
这篇文章主要介绍了PHP CURL CURLOPT参数，需要的朋友可以参考下 CURLOPT_RETURNTRANSFER 选项： curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); 如果成功只将结果返回，不自动输出任何内容。 如果失败返回FALSE curl_setopt($ch, CURLOPT_RETURNTRANSFER,0); 或着不使用这个选项： 如果成功只返回TRUE，自动输出返回的内容。 如果失败返回FALSE PHP中CURL方法c.
curl php curlopt_useragent,curl采集设置CURLOPT_FOLLOWLOCATION不起作用的解决办法
weixin_30783947的博客
03-18 1296
curl采集设置CURLOPT_FOLLOWLOCATION不起作用的解决办法curl抓取页面时，如果页面会发生301，302跳转，则需要对curl进行参数设置。curl_setopt($ch, CURLOPT_MAXREDIRS,20);curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);01curl_setopt($ch,CURLOPT_MAXREDIRS,2...
PHP CURL 发送COOKIE
07-28 1万+
curl用法:cookie及post一、cookie用法$cookie_jar = tempnam(./tmp,cookie); // login $c=curl_init(http://login_url?username=... curl_setopt($c, CURLOPT_RETURNTRANSFER, 1); curl_setopt($c, CURLOPT_COOKIEJA
JS获取手机型号和系统
热门推荐
昕鸿的博客
04-21 7万+
想要通过js获取手机的一些基本参数，就要使用到navigator.userAgent，通过我们可以获取到浏览器的一些基本信息。如果想在页面中看到navigator.userAgent内容，我们可以使用document.write(navigator.userAgent);打印到页面上，可以更清晰的看到具体内容。 1、下面是我打印的一些手机中的userAgent内容： 1、iphone6 plu
PHP curl使用
懒人程序员的博客
06-08 174
curl代码 <?php /** * Class CURL * @desc 使用curl模拟heep request get、post、put、delete请求 * @author wangxuemin */ class CURL { private static $headerArray = array( "Content-type:application/json;charset='utf-8'", // MIME类型、字符集 "Accept:ap
苹果手机显示无法与服务器建立安全连接,苹果手机那个safari浏览器无法与访问器建立安全链接是什么意思...
weixin_42516668的博客
08-10 7万+
苹果手机那个safari浏览器无法与访问器建立安全链接是什么意思卡饭网本站整理2018-08-25safari虽然只有苹果用户才能使用，但是随着苹果用户的增多，不少人遇到safari打不开网页的问题等，safari是苹果手机内置浏览器，在打开网页时经常会出现safari打不开网页因为服务器已停止响应提示，最简单的解决方法就是重新刷新一下，如果刷新都解决不了问题的话请参考以下方法来解决。如何解决sa...
安卓ios主流浏览器User-Agent汇总
alanlonglong的博客
01-25 1万+
user-Agent爬虫 ['Mozilla/5.0 (iPhone 84; CPU iPhone OS 10_3_3 like Mac OS X) AppleWebKit/603.3.8 (KHTML, like Gecko) Version/10.0 MQQBrowser/7.8.0 Mobile/14G60 Safari/8536.25 MttCustomUA/2 QBWebViewTyp
PHP中CURL方法及curl_setopt()与curl_getinfo()函数参数说明
大爱无疆的博客
09-01 3054
使用PHP的cURL库可以简单和有效地抓取网页内容，本文主要记录CURL方法及curl_setopt()函数的一些参数。 简单示例 CURL库方法 名称 说明 curl_close 关闭一个curl会话 curl_copy_handle 拷贝一个curl连接资源的所有内容和参数 curl_errno 返回一个包含当前会话错误信
curl学习笔记
小城大龄程序员
12-23 197
$fields = "authenticity_token={$authenticity_token}&user[email]={$user}&user[password]={$pw}&Login=登录"; $cookie_file = dirname(__FILE__).'/cookie.txt'; $url="uil/api/login2"; $ch = cur...
file_get_contents伪造user_agent curl设置useragent的方法
weixin_33845881的博客
08-26 623
2019独角兽企业重金招聘Python工程师标准>>> ...
为一个简易的 curl 句柄设置选项
zhangwu416826的专栏
07-05 3901
原文地址:http://www.groad.net/bbs/read.php?tid-1642.html 说明： 此函数用来告诉 libcurl 执行什么样的动作。该函数有 3 个参数(该函数的可设置选项非常之多)： 第 1 个参数 handle 是由 curl_easy_init() 返回的句柄；第 2 个参数是可以设置的选项(CURLoption)；第 3 个参数是与第 2 个选项相关联
所有手机浏览器的userAgent 头是什么样的
最新发布
06-12
虽然我不能提供所有手机浏览器的userAgent头，但是我可以给你一个示例，通常手机浏览器的userAgent头包括以下信息： Mozilla/5.0 (Linux; Android 10; SM-G960U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值