CURL 采集

最新推荐文章于 2022-04-25 00:13:45 发布
最新推荐文章于 2022-04-25 00:13:45 发布
阅读量223 收藏
点赞数
分类专栏： php curl 文章标签： php curl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56687451/article/details/118539374
版权
php 同时被 2 个专栏收录
7 篇文章 0 订阅
订阅专栏
curl
1 篇文章 0 订阅
订阅专栏

........行符以外的任意字符

\w  匹配字母或数字或下划线【应该是word的首字母】

\s  匹配任意的空白符    【space首字母】

\d  匹配数字          【英文Digital的首位字母】

\b  匹配单词的开始或结束 【begin首字母】

^   匹配字符串的开始

$   匹配字符串的结束

*   重复零次或更多次

+   重复一次或更多次

?   重复零次或一次

{n} 重复n次

{n,}    重复n次或更多次

{n,m}   重复n到m次

//反义

\W  匹配任意不是字母，数字，下划线

\S  匹配任意不是空白符的字符

\D  匹配任意非数字的字符

\B  匹配不是单词开头或结束的位置

[^x]    匹配除了x以外的任意字符

[^aeiou]    匹配除了aeiou这几个字母以外的任意字符

PHP正则表达式模式后面通常带有 /i, /is, /s, /isU等参数说明

i  匹配大小写

s 模式中的圆点元字符（.）匹配所有的字符，包括换行符

x 模式中的空白字符除了被转义的或在字符类中的以外完全被忽略，在未转义的字符类之外的 # 以及下一个换行符之间的所有字符，包括两 头，也都被忽略

A (PCRE_ANCHORED) 如果设定了此修正符，模式被强制为“anchored”，即强制仅从目标字符串的开头开始匹配即自动在模式开头加上^。

D (PCRE_DOLLAR_ENDONLY) 如果设定了此修正符，模式中的美元元字符仅匹配目标字符串的结尾。没有此选项时，如果最后一个字符是换行符的话，美元符号也会匹配此字符之前（但不会匹配 任何其它换行符之前）。如果设定了 m 修正符则忽略此选项。Perl 中没有与其等价的修正符。  S 当一个模式将被使用若干次时，为加速匹配起见值得先对其进行分析。如果设定了此修正符则会进行额外的分析。目前，分析一个模式仅对没有单一固定起始字符的 non-anchored 模式有用。 

U (PCRE_UNGREEDY) 本修正符反转了匹配数量的值使其不是默认的重复，而变成在后面跟上“?”才变得重复。这和 Perl 不兼容。也可以通过在模式之中设定 (?U) 修正符来启用此选项。

X (PCRE_EXTRA) 此 修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式中的任何反斜线后面跟上一个没有特殊意义的字母导致一个错误，从而保留此组合以备将 来扩充。默认情况下，和 Perl 一样，一个反斜线后面跟一个没有特殊意义的字母被当成该字母本身。当前没有其它特性受此修正符控制。即:贪婪模式,最 大限度匹配 如:/a[/w]+?e/U匹配abceadeddd中的abceade而不是abce,如果不加U修正,则匹配abce  u (PCRE_UTF8) 此修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式字符串被当成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用，在 win32 下自 PHP 4.2.3 起可用。

php的正则相关的函数

PCRE 函数

函数

描述

preg_filter

执行一个正则表达式搜索和替换

preg_grep

返回匹配模式的数组条目

preg_last_error

返回最后一个PCRE正则执行产生的错误代码

preg_match_all【正则表达式匹配多次】

执行一个全局正则表达式匹配

preg_match【正则表达式匹配一次】

执行一个正则表达式匹配

preg_quote

转义正则表达式字符

preg_replace_callback_array

执行一个正则表达式搜索并且使用一个回调进行替换

preg_replace_callback

执行一个正则表达式搜索并且使用一个回调进行替换

preg_replace

执行一个正则表达式的搜索和替换

preg_split

通过一个正则表达式分隔字符串

重点函数的语法：

int preg_match_all ( string $pattern , string $subject [, array &$matches [, int $flags = PREG_PATTERN_ORDER [, int $offset = 0 ]]] )

搜索 subject 中所有匹配 pattern 给定正则表达式的匹配结果并且将它们以 flag 指定顺序输出到 matches 中。

在第一个匹配找到后, 子序列继续从最后一次匹配位置搜索。

参数说明：

  • $pattern: 要搜索的模式，字符串形式。
  • $subject: 输入字符串。
  • $matches: 多维数组，作为输出参数输出所有匹配结果, 数组排序通过flags指定。
  • $flags：可以结合下面标记使用(注意不能同时使用PREG_PATTERN_ORDER和 PREG_SET_ORDER)：
    1. PREG_PATTERN_ORDER: 结果排序为$matches[0]保存完整模式的所有匹配, $matches[1] 保存第一个子组的所有匹配，以此类推。
    2. PREG_SET_ORDER: 结果排序为$matches[0]包含第一次匹配得到的所有匹配(包含子组)， $matches[1]是包含第二次匹配到的所有匹配(包含子组)的数组，以此类推。
    3. PREG_OFFSET_CAPTURE: 如果这个标记被传递，每个发现的匹配返回时会增加它相对目标字符串的偏移量。
  • offset: 通常， 查找时从目标字符串的开始位置开始。可选参数offset用于 从目标字符串中指定位置开始搜索(单位是字节)。

preg_match 函数用于执行一个正则表达式匹配。

int preg_match ( string $pattern , string $subject [, array &$matches [, int $flags = 0 [, int $offset = 0 ]]] )

  • $pattern: 要搜索的模式，字符串形式。
  • $subject: 输入字符串。
  • $matches: 如果提供了参数matches，它将被填充为搜索结果。 $matches[0]将包含完整模式匹配到的文本， $matches[1] 将包含第一个捕获子组匹配到的文本，以此类推。
  • $flags：flags 可以被设置为以下标记值：
    1. PREG_OFFSET_CAPTURE: 如果传递了这个标记，对于每一个出现的匹配返回时会附加字符串偏移量(相对于目标字符串的)。 注意：这会改变填充到matches参数的数组，使其每个元素成为一个由 第0个元素是匹配到的字符串，第1个元素是该匹配字符串 在目标字符串subject中的偏移量。
  • offset: 通常，搜索从目标字符串的开始位置开始。可选参数 offset 用于 指定从目标字符串的某个未知开始搜索(单位是字节)。

两个函数的区别：

preg_match 匹配到一次就会停止，设置匹配到的一个匹配

preg_match_all 会一直匹配下去。直到字符串结束，设置匹配到的所有匹配【推荐】

curl [Client URL Library Functions]

PHP 支持 Daniel Stenberg 创建的 libcurl 库，能够连接通讯各种服务器、使用各种协议。libcurl 目前支持的协议有 http、https、ftp、gopher、telnet、dict、file、ldap。 libcurl 同时支持 HTTPS 证书、HTTP POST、HTTP PUT、 FTP 上传(也能通过 PHP 的 FTP 扩展完成)、HTTP 基于表单的上传、代理、cookies、用户名+密码的认证。

curl是客户端向服务器端请求的一个工具

 cURL是一个强大的库，能够连接通讯各种服务器、使用各种协议。同时支持 HTTPS 证书、HTTP POST、HTTP PUT、 FTP 上传(也能通过 PHP 的 FTP 扩展完成)、HTTP 基于表单的上传、代理、cookies、用户名+密码的认证。

对于网页资源

--编写爬虫

websevice数据接口资源

--可以动态获取接口上的数据，比如天气预报、号码归属地、短信

ftp服务器 里面的文件资源

--下载ftp服务器里面的文件

其他的资源

--所有网络的资源都可以用curl访问和下载。

curl( curl is a command ling tool for transferrng data whih URL ) 采集url传输数据的命令工具

常用函数

采集

/* 百度数据的采集*/ $curl=curl_init('http://www.baidu.com/');//初始化一个curl 参数可以直接写采集的地址 //在这里采集注意是 http还是https的协议 curl_setopt($curl,CURLOPT_RETURNTRANSFER,true);//设置采集不直接输出 $data=curl_exec($curl);//执行采集 print_r($data);

天气预报查询

前台html页面

<script src="https://apps.bdimg.com/libs/jquery/2.1.4/jquery.min.js"> </script> 城市 <input type="text" name="weaid" class="weaid"><input type="button" class="btn "value="查询"> <table> <tr> <td>温度</td> <td class="temperature"></td> </tr> <tr> <td>天气</td> <td class="weather_curr"></td> </tr> <tr> <td>图标</td> <td class="weather_icon"><img ></td> </tr> </table> <script> $('.btn').click(function(){ var weaid = $('.weaid').val();//获取用户输入的城市的信息 $.get('weather.php',{weaid:weaid},function (data) { console.log(data); temperature =data.result.temperature; $('.temperature').text(temperature); weather_curr =data.result.weather_curr; $('.weather_curr').text(weather_curr); weather_icon =data.result.weather_icon; $('.weather_icon img').attr('src',weather_icon); },'json') }) </script>

后台php页面,接收数据，返回给前台页面

$ch=curl_init();//初始化curl $weaid=$_GET['weaid']; $appkey='42767'; $sign='f2c0982883594a157d5a7909345b74e1'; $url="http://api.k780.com/?app=weather.today&weaid=$weaid&appkey=$appkey&sign=$sign&format=json";//采集的地址 curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);//将采集的数据不直接输出 curl_setopt($ch,CURLOPT_URL,$url);//设置采集的地址 $data = curl_exec($ch); echo $data; /*$res = json_decode($data,true);//将json格式的数据转化为数组 参数true 转换为数组 默认是false转化为对象 print_r($res);*/

百度翻译接口

<?php $q="banana"; $from="en"; $to="zh"; $appid="20190529000302898"; $salt=rand(1000000000,9999999999); $sign1="OlcAZuodFb2vaOmXYPBS"; $sign=md5($appid.$q.$salt.$sign1); $url="http://api.fanyi.baidu.com/api/trans/vip/translate?q=$q&from=$from&to=$to&appid=$appid&salt=$salt&sign=$sign"; echo $url; $ch=curl_init(); curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch,CURLOPT_RETURNTRANSFER,true); $data=curl_exec($ch); echo $data;

curl采集入库

源码采集

$ch = curl_init();//初始化curl $url="https://www.huodongxing.com/search?ps=12&pi=0&list=list&qs=it&st=1,4&city=%E4%B8%8A%E6%B5%B7"; curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);//不直接输出 curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false);//关闭ssl认证 curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,false);//关闭ssl认证 curl_setopt($ch,CURLOPT_URL,$url);//设置采集的地址 $data = curl_exec($ch); $reg='#<div class="search-tab-content-item flex">.*<img class="item-logo" src="(.*)" alt=".*" title=".*">.*<a class="item-title" href="(.*)" target="_blank" title=".*">(.*)</a>.*<p class="item-data flex"><span class="item-data-icon icon"></span>(.*)</p>.*<p class="user-name" style="max-width:120px;" title=".*">(.*)</p>.*</div>.*</div>#isU'; preg_match_all($reg,$data,$reslut);//正则表达是匹配 参数 1正则 参数2 数据 参数 3 匹配的内容 $src=$reslut[1]; $title=$reslut[3]; $href=$reslut[2]; $time=$reslut[4]; $author=$reslut[5]; $sql="insert into news3(title,href,`time`,author,img) values"; foreach($src as $k=>$value){ $href="https://www.huodongxing.com".$href[$k]; $sql.="('$title[$k]','$href','$time[$k]','$author[$k]','$value'),"; } $sql = substr($sql,0,-1); $dbh = new PDO('mysql:host=127.0.0.1;dbname=1901a', 'root', 'root'); $dbh->setAttribute(PDO::ATTR_ERRMODE,true); $res = $dbh->exec($sql); if($res){ echo "OK"; }else{ echo "no"; }

在框架中采集

public function getInfo() { $url="https://www.cnblogs.com/jiangshiguo/";//采集的网址 $ch = curl_init();//初始化curl curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);//将结果不直接输出 curl_setopt($ch,CURLOPT_URL,$url); //因为采集的网址是https的ssl证书认证 关闭 curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,false); curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false); $data =curl_exec($ch); /* print_r($data);*/ $reg='#<div class="day">.*<div class="dayTitle">.*<a href="(.*)">(.*)</a>.*</div>.*<div class="postTitle">.*<a class="postTitle2 vertical-middle" href=".*">.*<span>(.*)</span>.*</a>.*</div>.*<div class="postCon">.*<div class="c_b_p_desc">(.*)<a href=".*" class="c_b_p_desc_readmore">阅读全文</a>.*</div>.*<div class="postDesc">(.*)<span data-post-id=".*" class="post-view-count">.*</span>#isU'; preg_match_all($reg,$data,$result); //print_r($result); $href=$result[1]; $time=$result[2]; $title=$result[3]; $desction=$result[4]; $author=$result[5]; $arr=[]; foreach($href as $k=>$v){ $arr[$k]['href']=$v; $arr[$k]['time']=$time[$k]; $arr[$k]['title']=trim($title[$k]); $arr[$k]['desction']=trim($desction[$k]); $arr[$k]['author']=trim(substr($author[$k],26)); } print_r($arr); DB::table('news3')->insert($arr); }

Querylist采集数据

laravel框架配置querylist

将querylist框架放入vendor目录下

在入口文件引入自动加载文件

入口文件添加引入【注意仔细检查autoload.php文件的位置】

require __DIR__.'/../vendor/QueryList/vendor/autoload.php';

控制器层代码

public function getNews(){ $data=QueryList::get('https://www.huodongxing.com/search?ps=12&pi=3&list=list&qs=it&st=1,4') ->rules([ 'images'=>['.search-tab-content-item .item-logo','src'], 'title'=>['.search-tab-content-item .item-title','text'], 'href'=>['.search-tab-content-item .item-title','href'], 'times'=>['.search-tab-content-item .item-data','text'], 'address'=>['.search-tab-content-item .item-dress','text'], 'author'=>['.search-tab-content-item .user-name','text'], ]) ->queryData(); $res=Fours::add($data); if($res){ echo "添加成功"; }else{ echo "添加失败"; } }

模型层

protected $table="news"; public $timestamps=false;//关闭时间戳 public static function add($data){ return self::insert($data); }

单条采集

该死的恋爱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
php采集-CURL采集，匹配正则采集
li_lening的博客
05-18 7046
1,正则匹配（file_get_contents）下面我们先模拟一个搜狐的网站进行采集一下，下面是代码，方便各位随时使用呦！$url="http://www.baidu.com/";//写一个搜狐的网址，采集之前一定要确定有网络呦！ $con=file_get_contents("compress.zlib://".$url);//为了防止乱码，要在前面拼上“compress.zlib: prin...
PHP curl采集
11-21
$ch = curl_init(); // Curl 初始化 $timeout = 30; // 超时时间：30s $ip="192.168.1.101"; $ua='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 ...
curl采集数据
阑珊处的秋月博客
10-09 291
curl采集数据 前言 curl是一个利用URL语法在命令行方式下工作的文件传输工具，功能十分强大，本文是php使用curl采集数据的案例。 一、curl简介 curl命令是一个功能强大的网络工具，它能够通过http、ftp等方式下载文件，也能够上传文件。其实curl远不止前面所说的那些功能，大家可以通过man curl阅读手册页获取更多的信息。类似的工具还有wget。curl命令使用了libcurl库来实现，libcurl库常用在C程序中用来处理HTTP请求，curlpp是libcurl的一个C
php 使用CURL函数采集
葛二蛋的博客
07-14 746
<?php header ( "content-type:text/html;charset=utf-8"); //信息采集，首先确定采集是否需要进行登录？如果不需要登录，就直接进行抓取数据即可 //第一步，确定采集的URL $url= "http://blog.jobbole.com/category/php-programmer/"; //第二步：选择采集的技术（CURL、file_get_c
curl采集
hrbsfdxzhq01的博客
08-12 284
没有负载时使用remote_addr获取真实IP,remote_addr无法伪造,可以通过代理来处理 有负载时使用HTTP_X_FORWARDED_FOR获取IP <?php // $url = 'www.baidu.com'; // $url = 'https://www.jstor.org/'; // $url = 'https://www.jstor.org/action/...
CURL采集
青春已被放纵了 的博客
12-05 634
<?php defined('BASEPATH') OR exit('No direct script access allowed'); class Welcome extends CI_Controller { public function index() { $this->load->library('Curl'); $url="http:/
学习使用curl采集curl使用方法
10-28
从朋友那拿到一份代码，用CURL模拟用户登录并采集需要用户登录的页面的
php采集神器cURL使用方法详解
10-22
相较于`file_get_contents`函数，cURL提供了更丰富的选项和控制，使其在复杂的网络数据采集任务中表现出色。在本文中，我们将深入探讨cURL在PHP中的使用方法。 首先，让我们回顾一下`file_get_contents`函数的基本...
自制简易php采集程序，利用curl采集
02-20
自制采集程序，简易无说明，仅供借鉴，不要直接使用哦 使用了php curl采集，包含cookie模拟，伪造来路，数据写入本地，文件图片下载等一系列代码块。因为自用，代码写的很乱，强迫症或技术不娴熟者就别下了
curl 采集
diechangzang8389的博客
08-20 158
正则表达式的复习 . 匹配除换行符以外的任意字符 \w 匹配字母或数字或下划线或汉字【应该是word的首字母】 \s 匹配任意的空白符 【space首字母】 \d 匹配数字 【英文Digital的首位字母吧】 \b 匹配单词的开始或结束 【begin首字母】 ^ 匹配字符串的开始 $ 匹配字符串的结束 * 重复零次或更多次 ...
curl模块采集任意网页php类
03-07
* 1.支持单个get,post请求 * 2.支持多个目标未登录get请求 * 3.支持单个目标并行多个get,post请求 * 4.支持ajax请求 * 5.支持自定义header请求 * 6.支持自定义编码数据请求（该情况比较特殊） * 7.支持代理登陆 * 8.支持自定义来路 * 9.支持自定义超时 * 10.支持文件上传
php curl采集
phpcoder
03-27 881
<?php set_time_limit(0); function getImage($url,$save_dir='',$filename='',$type=0){ if(trim($url)==''){ return array('file_name'=>'','save_path'=>'','error'=>1);
php curl实现采集,PHP - curl实现采集
weixin_31690347的博客
04-01 212
1、开启curl支持由于php环境安装后默认是没有打开curl支持的，需修改php.ini文件，找到;extension=php_curl.dll，把前面的冒号去掉，重启服务即可；2、使用curl进行数据抓取// 初始化一个 cURL 对象$curl=curl_init();// 设置你需要抓取的URLcurl_setopt($curl,CURLOPT_URL,‘http://www.ku...
curl数据采集
alexcook2010的博客
08-02 72
https://github.com/php-curl-class/php-curl-class 转载于:https://www.cnblogs.com/pcx105/p/7275150.html
PHP CURL采集
a1028697753的博客
04-25 281
php采集神器cURL使用方法详解 - phpStudy 上面是别人的CURL介绍，下面是自己写好的方法 function curl_file_get_contents($durl){ $ch = curl_init(); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST,FALSE); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER,FALSE); curl_setopt($ch, CURLOP
php curl采集被拒绝,cloudinary&# 39 PHP上传API中的cURL错误—未能连接到端口443:连接被拒绝。...
最新发布
06-06
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); ``` 另外，在使用Cloudinary API时，确保你的API密钥和API密钥的值正确无误，这也可能是导致连接被拒绝的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值