curl head请求_用php的curl_post写一个爬取百度搜索结果的api

最新推荐文章于 2024-09-14 08:07:38 发布
最新推荐文章于 2024-09-14 08:07:38 发布
阅读量427 收藏
点赞数
文章标签： curl head请求 curl post https 百度搜索接口api 百度搜索结果 转换
9b93c81e58bbb5ae49884ada90272706.png点击上方蓝字，关注我们 9b93c81e58bbb5ae49884ada90272706.png

01

起因

 f247262cf352a10421cefa7e06655ed5.png

因为手速慢，漏洞刷不过别人，一个个手补确实慢，所以想自己写一个api，一键抓取百度搜索结果，然后就可以打批量了 ovo(真是太妙了！)

8dd0e2010861ed5ed30ba5c14f042b6b.png

2

开干

01

抓包做准备

要做一个抓取的，当然是先抓包啦~

拿出我的bp，和zoomeye篇一样先输入一个关键字，方便在bp里面找我输入的关键字

然后回车~

发现我输入的关键字在这个GET的请求包里面

用repeat模块后:

发现返回了我要的搜索结果

de99d5789c596ec91d9446b846950369.png

2

使用php的curl来模拟访问

PHP支持的由Daniel Stenberg创建的libcurl库允许你与各种的服务器使用各种类型的协议进行连接和通讯。

libcurl目前支持http、https、ftp、gopher、telnet、dict、file和ldap协议。libcurl同时也支持HTTPS认证、HTTP POST、HTTP PUT、 FTP 上传(这个也能通过PHP的FTP扩展完成)、HTTP 基于表单的上传、代理、cookies和用户名+密码的认证。

PHP中使用cURL实现Get和Post请求的方法

这些函数在PHP 4.0.2中被引入。

就是说，在php4.0.2中就已经引入了curl，而且还可以做post和get，真是太有用了有木有

25d26de22426e48546d007418529adf3.png

拿出我刚刚记录好的请求包~

Connection: closeUpgrade-Insecure-Requests: 1User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36Sec-Fetch-Dest: documentAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9Sec-Fetch-Site: noneSec-Fetch-Mode: navigateSec-Fetch-User: ?1Accept-Language: zh-CN,zh;q=0.9Cookie: PSTM=1588249253; BAIDUID=C34E0834A4B2DA6CBA0B25FA3A67FC8D:FG=1; BIDUPSID=735A45B6473102ED12E4236A4401AE21; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDUSS=2FaaXBqcDhaY0p-U1JvMXJ3dnVVdnJlSklhelZkSEQ1aGF1a1lWYjh3WnNVOUplSVFBQUFBJCQAAAAAAAAAAAEAAADfyRotztLX3MrHzvvO-7n-uf4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGzGql5sxqpeZ; H_PS_PSSID=1461_31325_21098_31254_31342_31271_31464_30824_31164_22158; delPer=0; BD_CK_SAM=1; PSINO=5; sug=3; sugstore=0; ORIGIN=2; bdime=0; H_PS_645EC=fe7bDpIqw0Ye%2FC9V9rTqXv5ARp5x3G1lJcPTrEHREGKf1YbuRCoB6oR0frw

然后用php语言来描述他:

<?php 
function curl_post($url){
	//$url='https://www.baidu.com/s?wd=%22Office%20Anywhere%22&tn=93348797_hao_pg&ie=utf-8&ch=1&pn='.$pn;
     $ch = curl_init();
	 curl_setopt($ch, CURLOPT_URL, $url);
	 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
	 curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
	 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	 curl_setopt($ch, CURLOPT_HEADER, TRUE);
	$headers = array();
    $headers[] = 'Connection: close';
	$headers[] = 'Upgrade-Insecure-Requests: 1';
	$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36';
	$headers[] = 'Sec-Fetch-Dest: document';
	$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
	$headers[] = 'Sec-Fetch-Site: none';
	$headers[] = 'Sec-Fetch-Mode: navigate';
	$headers[] = 'Sec-Fetch-User: ?1';
	$headers[] = 'Accept-Language: zh-CN,zh;q=0.9';
    $headers[] = 'Cookie: PSTM=1588249253; BAIDUID=C34E0834A4B2DA6CBA0B25FA3A67FC8D:FG=1; BIDUPSID=735A45B6473102ED12E4236A4401AE21; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDUSS=2FaaXBqcDhaY0p-U1JvMXJ3dnVVdnJlSklhelZkSEQ1aGF1a1lWYjh3WnNVOUplSVFBQUFBJCQAAAAAAAAAAAEAAADfyRotztLX3MrHzvvO-7n-uf4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGzGql5sxqpeZ; H_PS_PSSID=1461_31325_21098_31254_31342_31271_31464_30824_31164_22158; delPer=0; BD_CK_SAM=1; PSINO=5; sug=3; sugstore=0; ORIGIN=2; bdime=0; H_PS_645EC=fe7bDpIqw0Ye%2FC9V9rTqXv5ARp5x3G1lJcPTrEHREGKf1YbuRCoB6oR0frw';
     curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
     $output= curl_exec($ch);
     curl_close($ch);
     return $output;
}
?>1234567891011121314151617181920212223242512345678910111213141516171819202122232425

这样子就可以完成一次php中curl对baidu的请求了

然后用正则的方法取出其中的链接(http://www.baidu.com/link?url=xxxxx)

$a=curl_post($url);
$pattern = '/如果有不会的可以看我的第一篇(zoomeye篇)

)

保留head

最后就会把返回值$a打印在屏幕上了

但是百度的返回值是www.baidu.com/link?url=xxxxxxxx

所以要获取真实链接：

function get_real($url){
$info = parse_url($url);
$fp = fsockopen($info['host'], 80,$errno, $errstr, 30);
fputs($fp,"GET {$info['path']}?{$info['query']} HTTP/1.1\r\n");
fputs($fp, "Host: {$info['host']}\r\n");
fputs($fp, "Connection: close\r\n\r\n");
$rewrite = '';
while(!feof($fp)) {
    $line = fgets($fp);
    if($line != "\r\n" ) {
        if(strpos($line,'Location:') !== false) {
            $rewrite = str_replace(array("\r","\n","Location: "),'',$line);
        }
    }else {
        break;
    }
}
return $rewrite; 
}

62f56c3faa465612b1d7da0cd5f9bb60.png

最后输出即可

3

所以完整代码如下

<?phpfunction  get_real($url){$info = parse_url($url);$fp = fsockopen($info['host'], 80,$errno, $errstr, 30);fputs($fp,"GET {$info['path']}?{$info['query']} HTTP/1.1\r\n");fputs($fp, "Host: {$info['host']}\r\n");fputs($fp, "Connection: close\r\n\r\n");$rewrite = '';while(!feof($fp)) {
    $line = fgets($fp);
    if($line != "\r\n" ) {
        if(strpos($line,'Location:') !== false) {
            $rewrite = str_replace(array("\r","\n","Location: "),'',$line);
        }
    }else {
        break;
    }}return $rewrite; }function getSubstr($str, $leftStr, $rightStr){$left = strpos($str, $leftStr);//echo '左边:'.$left;$right = strpos($str, $rightStr,$left);//echo '
右边:'.$right;if($left 	//$url='https://www.baidu.com/s?wd=%22Office%20Anywhere%22&tn=93348797_hao_pg&ie=utf-8&ch=1&pn='.$pn;
     $ch = curl_init();
	 curl_setopt($ch, CURLOPT_URL, $url);
	 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
	 curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
	 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	 curl_setopt($ch, CURLOPT_HEADER, TRUE);
	$headers = array();
    $headers[] = 'Connection: close';
	$headers[] = 'Upgrade-Insecure-Requests: 1';
	$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36';
	$headers[] = 'Sec-Fetch-Dest: document';
	$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
	$headers[] = 'Sec-Fetch-Site: none';
	$headers[] = 'Sec-Fetch-Mode: navigate';
	$headers[] = 'Sec-Fetch-User: ?1';
	$headers[] = 'Accept-Language: zh-CN,zh;q=0.9';
    $headers[] = 'Cookie: PSTM=1588249253; BAIDUID=C34E0834A4B2DA6CBA0B25FA3A67FC8D:FG=1; BIDUPSID=735A45B6473102ED12E4236A4401AE21; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDUSS=2FaaXBqcDhaY0p-U1JvMXJ3dnVVdnJlSklhelZkSEQ1aGF1a1lWYjh3WnNVOUplSVFBQUFBJCQAAAAAAAAAAAEAAADfyRotztLX3MrHzvvO-7n-uf4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGzGql5sxqpeZ; H_PS_PSSID=1461_31325_21098_31254_31342_31271_31464_30824_31164_22158; delPer=0; BD_CK_SAM=1; PSINO=5; sug=3; sugstore=0; ORIGIN=2; bdime=0; H_PS_645EC=fe7bDpIqw0Ye%2FC9V9rTqXv5ARp5x3G1lJcPTrEHREGKf1YbuRCoB6oR0frw';
     curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
     $output= curl_exec($ch);
     curl_close($ch);
     return $output;}function get_url($page){$start='"	for($j=0;$j<=count($match[0]);$j++){
		if(strpos($match[0][$j],'http://www.baidu.com/link?url=') !== false){ 
	$match1[$o]=get_real('h'.getSubstr($match[0][$j],$start,$end));
	$o++;}
	}
	return $match1;}for($i=0;$i<=500;$i+=10){
	$aaa[$o]=get_url($i);
	$o++;}$bbb=array();$ccount=count($aaa[""]);for($i=1;$i<=$ccount;$i++){
	$bbb[$i]=$aaa[""][$i];}$aaaaaaaa=count($aaa[$i]);for($i=1;$i<=count($aaa);$i++){
	for($j=1;$j<=$aaaaaaaa;$j++){
		if($aaa[$i][$j]!=''){echo $aaa[$i][$j].'';}
	}}for($i=1;$i<=count($bbb);$i++){
		if($bbb[$i]!=''){echo $bbb[$i].'';}
	}?>123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156

关键词要自己设定哦。我在源码中已经标明设定关键词的地方辽

8dd0e2010861ed5ed30ba5c14f042b6b.png

end

关注：Hunter网络安全 获取更多资讯

网站：bbs.kylzrv.com

           ce.plmxk.cn

CTF团队：Hunter网络安全

eea13b42fc6155c01c882a7d33337309.gif7d7ad751a4aa8997be54afb30b2303a6.png

扫码关注我们

文章：Hacking Resources

排版：Hunter-匿名者

f383e1614c3e0237348c8bede69bef90.png

weixin_39628105
关注
php：curl请求：get/post 带header请求
Dove言和
03-31 3939
//curl请求 function http_request($url,$headers = array(),$data = null) { $curl = curl_init(); if (count($headers) >= 1) { curl_setopt($curl, CURLOPT_HTTPHEADER, $headers); } ...
php curl 请求携带header参数
Dove言和
12-03 3835
//测试接口 public function testapi(){ $pwd = 'Pass1234'; $uid = 'test01'; //获取token $token = $this->getToken(); //我自己的另外的方法 //获取加密后的密文 $credential =...
使用PHP的curl爬取百度搜索页相关搜索词
Ersan_Yi的博客
12-29 3794
使用PHP获取百度搜索的第一个相关搜索词 详细代码如下 $key_word = urlencode('王者荣耀');//需要对关键词进行url解析,否者部分带字符的标题会返回空 $url = 'https://www.baidu.com/s?ie=UTF-8&amp;wd='.$key_word; $res = curl_request($url); $reach_word = su...
PHP发送HEAD方法请求
weixin_34038652的博客
10-09 203
HEAD方法在99%的web服务中支持（不完全统计，默认都是HEAD、POST、GET，除了某些极其特殊的应用会限制HEAD方法），HEAD方法有很多用途，比如探测网页的状态（HTTP头部信息，404,403,200）。PHP的灵活性，可以很容易地实现HTTP的HEAD方法。 1、Socket实现： 　　（直接手写HEAD请求） 2、CURL实现：   　　curl_setopt($ch...
Python Baidu Search API：轻松实现百度搜索的强大工具
最新发布
gitblog_00503的博客
09-14 1505
Python Baidu Search API：轻松实现百度搜索的强大工具 python-baidusearch 自己手写的百度搜索接口的封装，pip安装，支持命令行执行。Baidu Search unofficial API for Python with no external dependencies ...
php之curl带头部header的post请求
热门推荐
wyj1122的博客
05-17 2万+
public function op(){ // $url = 'http://www.baidu.com/test/na/oh'; $header=array('Accept-Language:zh-CN','x-appkey:114816004000028','x-apsignature:933931F91245938653...
PHP编程中使用CURL发送HTTP请求的基本流程
燚轩软件科技
08-15 724
　　在PHP编程中，有时候需要编程技术人员使用CURL的PHP扩展完成一个HTTP请求的发送，对于这个操作来说，很多初学者都会遇到很多苦难，那么下面就来为大家讲解一下。一般有以下几个步骤： 　　1. 初始化连接句柄; 　　2. 设置CURL选项; 　　3. 执行并获取结果; 　　4. 释放VURL连接句柄。 　　下面的程序片段是使用CURL发送HTTP的典型过程 　　上述代码中使用...
[PHP]用php的curl_post写一个爬取百度搜索结果的api
shadowwolf’s blog
05-16 1871
0x01 起因 因为手速慢，漏洞刷不过别人，一个个手补确实慢，所以想自己写一个api，一键抓取zoomeye的20页，然后就可以打批量了 ovo（真是太妙了！） 0x01 动工       1.抓包做准备 要做一个抓取的，当然是先抓包啦~ 拿出我的bp，和zoomeye篇一样先输入一个关键字，方便在bp里面找我输入的关键字 然后回车~ 发现我输入的关键字在这个GET的请求包里面 用repeat模块后: 发现返回了我要的搜索结果 &nbs
WWW-Curl-4.17.tar_curl_www_www-curl_Perl_
10-03
以下是一个简单的 `WWW::Curl` 使用示例，演示如何发起 GET 请求并获取响应内容： ```perl use WWW::Curl; my $curl = WWW::Curl->new; $curl->get('http://example.com'); my $response = $curl->get_content...
php中get_meta_tags()、CURL与user-agent用法分析
12-18
它能解析网页的`<head>`部分，查找形如 `<meta name="A" content="1">` 的标签，并将这些元数据以键值对的形式存储到一个数组中。在这个例子中，如果HTML源码包含`<meta name="A" content="1"><meta name="B" ...
PHP使用curl制作简易百度搜索
10-21
主要为大家详细介绍了PHP使用curl制作简易百度搜索的相关资料,具有一定的参考价值，感兴趣的小伙伴们可以参考一下
PHP爬取百度搜索结果
11-23
其实是用的别人的资源，这里只是保存一下，主要用来爬取百度的搜索结果中的标题和链接放到txt中
通过百度API函数实现搜索
weixin_33842328的博客
10-14 359
在百度搜索引擎中，可以按照“互联网”和“站内搜索”两种方式搜索数据信息，在使用百度搜索服务时候，需要在页面源中加入Js脚本。 <%@PageTitle=""Language="C#"MasterPageFile="~/master/Oa.Master"AutoEventWireup="true"CodeBehind="Seacher.aspx.cs...
curl php 百度,php curl 模拟登录百度首页
weixin_32595533的博客
03-10 329
代码如下：*/$post_fields = array();$post_fields = preg_data($contents,'aid',$post_fields);$post_fields = preg_data($contents,'isphone',$post_fields);$post_fields['mem_pass'] = 'on'; //post 数据数组 记住我的登录状态$p...
php的curl携带header请求头信息实现http访问
美奇软件开发工作室
12-08 4796
实现代码： <?php /** * 开始访问请求 * @param $url * @return bool|string */ function fetch_url($url) { $header = FormatHeader($url); $useragent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'; $timeout= 120; $ch = curl_i.
php搜索结果_使用php的curl根据关键词爬取百度搜索结果页
weixin_30416973的博客
03-08 290
我想实现的是每次根据给出的关键词搜索百度结果页其中php抓取代码如下：$url = "http://www.baidu.com/s?wd=生命动力";// 构造包头，模拟浏览器请求$header = array ("Host:www.baidu.com","Content-Type:application/x-www-form-urlencoded",//post请求"Connection: ke...
php curlpost header,使用PHP发送get、post请求的几种方法(curl,header)
weixin_34342589的博客
03-09 1575
在接口的开发中经常会遇到需要请求相关的第三方或者其他应用的接口，此处收集了几种PHP的发送get、post请求的方法。建议用curl。方法1: 用file_get_contents 以get方式获取内容$url='http://www.dodobook.net/';$html = file_get_contents($url);echo $html;方法2: 用fopen打开url, 以get方式...
调用百度搜索API
wzhui19903004的博客
08-02 3541
       引用源码地址：https://github.com/ysc/search        通过百度搜索引擎API实现，结果展示。           
百度一下，你就知道
05-25 3652
无意中看到百度的源代码，就粘过来了 原地址： [url]http://www.baidu.com/search/freecode.html[/url] [code="java"] function gowhere1(formname) { var url; if (formname.myselectvalue.value == "0") { url = "http:...
Windows平台curl工具_用于网站测试的下载与使用
这将会发送一个HEAD请求到指定的URL，并显示响应头信息，而不下载页面内容。这有助于快速检查网站的状态码和响应头部信息。如果需要获取完整的网页内容，可以简单地去掉"-I"选项，使用如下命令： ```bash curl *** `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值