curl模拟自动登陆&采集网页数据

最新推荐文章于 2022-02-24 19:05:05 发布
最新推荐文章于 2022-02-24 19:05:05 发布
阅读量175 收藏
点赞数
文章标签： php 
<!DOCTYPE>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>模拟登录测试</title>
</head>

<body>
<?php
    //curl模拟自动登陆认证 
    $url = ""; 
    $User_Agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0";    
    $post_data = "muser=***&passwd=***";    
    $refer="http://***/";
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);        //设置URL
    curl_setopt($ch, CURLOPT_HEADER, true);        //设置显示响应头
    curl_setopt($ch,CURLOPT_USERAGENT,$User_Agent); //设置代理浏览器
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT,5);//超时处理
    curl_setopt($ch,CURLOPT_REFERER,$refer);    //设置来源网站
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);//设置重定向
    curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);//设置参数
    $content = curl_exec($ch);

    $headArr = explode("\r\n", $content);        //解析url
    foreach ($headArr as $loop) {
        //echo htmlspecialchars($loop)."<br />";
      if(strpos($loop, "http://***/default.aspx?id=") !== false){//找到Location
            $id = trim(substr($loop, 46));
      }
      if(strpos($loop, "Set-Cookie") !== false){//找到Cookie
            $cookie = trim(substr($loop, 12));
      }
    }
    $rurl="****?id=".$id;
    echo "edengUrl:<br>".$rurl;
    echo "<br />";
    echo "setcookie:<br>".$cookie."<br />";
    curl_close($ch);
    
    
    //结果处理
    $url = $rurl; 
    $User_Agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0";    
    $refer="http://****/";
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);        //设置URL
    curl_setopt($ch, CURLOPT_COOKIE, $cookie);        //设置cookies
    curl_setopt($ch,CURLOPT_USERAGENT,$User_Agent); //设置代理浏览器
    curl_setopt($ch, CURLOPT_TIMEOUT,5);//超时处理
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch,CURLOPT_REFERER,$refer);    //设置来源网站
    $content = curl_exec($ch);
    
    //解析html
    echo "<br />";
    echo "<br />解析：";
    echo "<br />";
    $content=strip_tags($content);//去除html标签
    echo $content;
    echo "<br />";
    echo "<br />";
    $sk=strpos(trim($content), "当前用户")+28;
    $name = trim(substr($content,$sk,9));
    $arr=explode("    ",$name);
    echo $sk."<br />".$arr[0]."<br />";
        
    curl_close($ch); 
    
?>
</body>
</html>

 

weixin_34354173
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PHP curl模拟登录带验证码的网站
10-23
最近接了个项目，其中有需求是要登录带验证码的网站，获取数据，但是我们不可能人为的一直去记录数据，想通过自动采集的方式进行，下面小编给大家带来的相关代码，对php curl 模拟登录带验证码的网站感兴趣的朋友...
php的curl登录采集的类.zip
07-11
在PHP开发中，有时我们需要模拟用户登录到某个网站并获取其受保护的页面内容，例如进行数据抓取或自动化测试。这就是PHP的cURL库派上用场的时候。cURL库提供了一种方法来发送HTTP请求，包括POST、GET等，从而能够...
curl 命令实现上网认证登录
Hardy的博客
05-30 5691
1、、打开浏览器，进入登录界面 2、进入浏览器开发者模式 3、在浏览器点击Network选项卡，勾选其中的Preserve log选项 4、输入用户名和密码，登录上网。随后在Name窗口中查找跟登录有关的关键字字段，有的高校是 login，大气所是 webAuth。点击该字段，再选中Headers选项卡，该选项卡中应当有From Data条目，在相应的条目下右键，Copy，Copy as cURL（bash） 5、在bash命令行输入复制的命令。经过试验，应该是只要输入网址和--data参数就可以 cu
多宽带联网（三） OpenWrt中使用cURL方法编写Shell脚本自动完成网页宽带认证登录（校园网认证登录解决方案） 使用awk命令
Cx2008Lxl的博客
02-24 7417
捕获网页认证登录宽带时的请求数据包，在OpenWrt中使用cURL方法在Shell脚本内向服务器发送模拟登录请求，完成认证流程。
使用CURL进行采集或模拟登录
她已不在的博客
12-28 707
在信息采集的时候，要采集的站点可能需要登录，这样使用简单的采集方式（例如file_get_contents）就无法做到了，我们可以利用PHP的CURL扩展库来进行模拟登录，下面给出代码示例： &amp;lt;?php $cookie_path = './'; //设置cookie保存路径 //-----登录要提交的表单数据--------------- $v...
使用python或curl实现校园网自动登录
xjfyt0129的博客
09-25 8960
一、引入        学校的校园网每天十二点断网，然后第二天六点恢复，学校允许外接路由器。但是呢，每天早上起来还得打开网页认证一下，尝试使用python脚本进行自动登录，很成功。但是呢，想想又很烦，还得使用python，电脑用的话电脑还得一直开机，手机上弄得话挺麻烦。        想着能不能让路由器每天六点自动认证，于是就发现了curl这个万能工具。路由器的系统是Linux系统，自带curl，恰好我路由器刷的老毛子固件，可以
win10和linux利用curl实现校园网自动登录
ElimsJ的博客
10-20 2827
问题来源：一些学校或者企业的网络通常需要连接wifi时在弹出来的登录界面上填写用户名和密码才能连网，比较麻烦，本文用curl编写脚本，在windows10和linux上实现连接wifi时即可上网，并且定时检测网络状态，保持电脑始终联网 用curl写脚本 首先,在win10上，我这里使用谷歌浏览器，保持上网账号为注销状态，连接wifi，弹出上网登录界面，点击F12，接着点Network。 然后在左侧界面填写用户名和密码，点击登录，观察右侧Network界面的变化。 点击login?callback，右侧有一个
PHPCURL模拟登录获取及提交数据的函数.pdf
10-11
PHPCURL模拟登录获取及提交数据的函数 PHPCURL是一个基于PHP语言的CURL扩展库，提供了模拟浏览器的功能，可以模拟用户的浏览器行为，发送HTTP请求，获取服务器响应数据，提交数据等。该库广泛应用于爬虫、自动化...
php的curl多线程采集.zip
07-11
在标题为"php的curl多线程采集.zip"的文件中，我们讨论的是如何利用PHP的cURL库进行多线程数据采集，这在大数据抓取、网页爬虫或自动化测试场景中非常有用。 首先，我们需要了解什么是多线程。在计算机科学中，多...
用curl自动登录HTTPS站点
xuela-net
07-03 260
前文http://blog.csdn.net/sheismylife/article/details/9237925演示了如何手动的通过运行curl命令登录HTTPS站点，然后获取cookie, 再拼凑一个命令加上cookie访问网站其他的页面。通过newlisp编程可以将第一个命令输出的结果用正则表达式过滤出其中的cookie，然后发出请求。 下面是代码： #!/usr/bin/newli...
通过CURL命令实现模拟登陆
01-02
使用CURL进行模拟登陆，在一些自动化场景中，相关脚本部署在Linux上，并且是命令行的操作方式，模拟页面的操作基本无法实现，本例使用curl模拟http请求，实现浏览器操作
curl自动登录CNZZ获得数据(数据采集)
wlm131127的专栏
05-18 1879
/**  * @author Leiming Wang  */ /*  * curl请求  * @param string $url  * @param array $option  * @return mixed $return;  */ function CurlRequest($url,$options){     $return = false;
CURL基于cookie的自动登录脚本
weixin_33971130的博客
01-11 249
放在crontab中自动执行登录，有时候挺有用的。 1234567891011#!/bin/bash # cookie 临时文件COOKIEFILE=cookie_tmp.txt # 登录curl $LOGINURL -d"username=$USERNAME&amp;password=$PASSWORD&amp;autologin=1" -c $COOKIEFILE -s RESPONSE=`c...
【CURL】模拟登录网站并获取用户信息
weixin_33919941的博客
07-30 790
模拟登录网站并获取用户信息 前言 这次来做的是通过代码的方式,模拟登录秒拍官网,获取登录用户的信息。 前后端分离 本文的标题是CURL,传统的网站是PHP代码直接渲染项目视图,通过表单提交到控制器直接进行数据操作。 传统模拟登录的方式在页面上找到表单元素,直接进行模拟表单提交。 近两年前端技术趋于完善,实现了前后端分离。...
curl获取登录状态
不仅是记忆的博客
06-27 2079
一般用来获取网站的登录状态方便采集 <?php //模拟登录 function login_post($url, $cookie, $post) { $curl = curl_init();//初始化curl模块 curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 curl_setopt(
curl自动登录人人网
dixiao0316的博客
12-20 108
curl自动登录人人网 <?php$login_url = 'http://passport.renren.com/PLogin.do';$post_fields['email'] = 'XXXX';$post_fields['password'] = 'XXXX';$post_fields['origURL'] = 'http%3A%2F%2Fhome.renren.c...
curl 模拟post请求
最新发布
03-16
通过curl可以模拟发送POST请求。 要使用curl发送POST请求，可以使用以下命令格式： ``` curl -X POST -d "参数1=值1&参数2=值2" URL ``` 其中，`-X POST`表示发送POST请求，`-d`后面跟着的是请求参数，以`参数=值`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值