get_file_content 和curl的比较，谁更好？

最新推荐文章于 2023-11-27 22:50:49 发布
最新推荐文章于 2023-11-27 22:50:49 发布
阅读量4.5k 收藏 2
点赞数 2
分类专栏： php Lavarel 文章标签： php curl fiel_get_content
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28018283/article/details/53337984
版权
php 同时被 2 个专栏收录
40 篇文章 0 订阅
订阅专栏
Lavarel
16 篇文章 0 订阅
订阅专栏

最近在写公司的抓取百度快照的时候，用到了这两个函数 。


一开始用的是网上搜的获取快照的代码，看了下思路就写了get_file_content。


把逻辑写完，开始用php  artisan console  开始跑，跑到几十条数据，就开始停住，不过还好时不时的还会动一下，深感欣慰，虽然数据库里面几万条数据，算了下8个小时就能跑完了，就把命令放旁边跑了，继续干别的事情。


结果跑到3820条时候，报了个错误。


file_get_contents(XXXXXXXXXXXXXXXXX) :fail to open stream:HTTP request failed！


同事纷纷猜测是不是百度屏蔽了服务器IP 。


google了一下，在StackOverflow上看到别人说用curl。抱着试试看的心态换了curl 。


然后又跑了一下。


三个字。


起飞了。


后来统计了一下：


file_get_content   

 17:06   0-3820   15:48 78分钟 0.02/min   1.13秒每条

curl 

17:20之后    改用curl 3820开始    17:37 7611       《7935》《8225》1min 300  0.2S每条  17:53 10000  6180 33     0.3S 


这差距，惊呆了好吗。



搜了下原理：

主要是curl 会做dns缓存 ，减少了dns查询的开销时间




Leon0204
关注
专栏目录
php中file_get_content 和curl以及fopen 效率分析
10-25
PHP提供了多种方法来实现这一目的，其中...综上所述，file_get_contents()、curl和fopen()各有特点和适用场景。在实际开发中，开发者应根据具体需求做出选择，并合理利用这些工具提供的功能来提高开发效率和程序性能。
比file_get_contents稳定的curl_get_contents分享
12-19
本文将详细讨论`file_get_contents`和`curl`的区别，以及为何`curl_get_contents`可能比`file_get_contents`更为稳定。 `file_get_contents`是一个非常简单且易于使用的函数，它能够读取文件或者URL的内容。然而，...
使用file_get_contents()和curl()抓取网络资源的效率对比
weixin_30555753的博客
04-17 92
使用file_get_contents()和curl()抓取网络资源的效率对比 在将小程序用户头像合成海报的时候，用到了抓取用户头像对应的网络资源，那么抓取方式有很多，比如 file_get_contents，curl等，如何抓取就成了问题，下面主要是对比这两种方式的效率快慢问题 1 echo '开始时间为：'.time().'<br>'; 2 $img_file = fil...
使用Curl、socket、file_get_contents三种方法POST提交数据
刘阳龙Herman的专栏
10-04 1469
<br /># <?php   <br /># /**  <br /># * Socket版本  <br /># * 使用方法：  <br /># * $post_string = "app=socket&version=beta";  <br /># * request_by_socket('facebook.cn','/restServer.php',$post_string);  <br /># */  <br /># function request_by_socket($remote_server
get file content
zqhphoenix的专栏
07-22 1051
private String getFileContent(String url) {  byte[] responseBody = null;  try {   HttpClient client = new HttpClient();   if (PropertyReader.getInstance().getPxy_usage().trim().equals(     "true")) { 
选取本地文本文件并返回文件内容getFileContent
jyn15159的博客
07-12 829
选取本地文本文件并返回文件内容 定义选取本地文本文件并返回文件内容的方法getFileContent /** * 选取本地文本文件并返回文件内容 * @returns {Promise<unknown>} */ export function getFileContent () { const accept = ['.json', '.xml'] return new Promise((resolve, reject) => { const fileInput =
使用curl或file_get_contents抓取网页中文乱码
liunx___的博客
12-15 189
出现的问题 解决办法 在curl函数配置参数中加这条代码 curl_setopt($ch, CURLOPT_ENCODING, "gzip"); 或者 file_get_contents函数加 file_get_contents("compress.zlib://".$url);
php中file_get_contents与curl性能比较分析
12-19
在PHP中，`file_get_contents`和`curl`都是用于从远程服务器获取数据的...特别是对于频繁的网络数据抓取和需要模拟复杂HTTP请求的场景，`curl`是更好的选择。当然，实际应用中应根据项目需求和环境来决定使用哪种方法。
深入file_get_contents与curl函数的详解
12-19
在某些情况下，如服务器配置限制或者需要更高级的控制，`curl` 是更好的选择。而在简单快速获取内容的场景下，`file_get_contents` 可能更简洁高效。总的来说，两者各有优缺点，应根据实际需求和环境来选择合适的...
php中使用Curl、socket、file_get_contents三种方法POST提交数据
12-18
对于更复杂的需求，如模拟登录、POST 数据或使用其他协议，Curl 是更好的选择；而 Socket 则适用于需要底层网络控制的场景。在性能方面，Curl 和 `file_get_contents` 的差异可能因具体条件而异，但通常 Curl 更具...
CG 的 file_get_content
小白渣的博客
11-26 456
首先看到题目，里面啥也没有 然后我们查看一下源码， 发现要 get一个file参数到file_get_contents()函数里，如果返回为指定字符串，就得到了flag 我们看到这个函数file_get_content就可以想到用php伪协议来绕过，我看了一下前面两位大佬写的绕过 第一种用url可以来绕过 第二种用bp抓包 记得要用post方法噢 ...
cURL和file_get_contents实现模拟post请求
weixin_30691871的博客
05-29 141
以前面试时候，面试官问过我后端有没有跨域问题，但是不敢肯定，现在可以肯定的说没有。 不文用php的cURL和file_get_contents方法分别实现后端跨域。本文场景也是在tp5下实现的。 一，利用cURL实现 1）前端代码，这是一个页面，访问的路径为http://app.write.com/thinkphp/public/index.php/index/index/curl，模块in...
关于在PHP5.6版本以上用get_file_content函数抓取远程内容的问题
程序之家的专栏
03-14 1445
最近，因为Web应用程序迁移到云服务器上，发生了一个致命问题。原有服务器的PHP环境为5.5，云服务的PHP环境为5.6。当时，抓取远程内容的函数用的是：get_file_content()，迁移之后，发现PDF文件打不开，经过调试，原来PHP5.5时，抓取URL远程内容时，不会自动gzip压缩内容，而PHP5.6时，抓取URL远程内容时，会自动gzip压缩，恰恰 get_file_content...
file_get_content 模拟POST数据
fwkjdaghappy1的专栏
03-06 2588
利用file_get_content来模拟POST数据
file_get_contents() 函数详解与使用
最新发布
wangxuanyang_zer的博客
11-27 9425
file_get_contents() 函数是 PHP 中一个功能丰富、易于使用的函数，可以用于文件操作和发起 HTTP 请求。通过深入理解该函数的使用方法，我们可以更高效地处理文件读取和远程资源获取任务。同时，使用上下文选项和其他相关函数，可以使 file_get_contents() 更加灵活和强大。在实际应用中，根据需求的不同，我们可以选择合适的方式来充分发挥其优势，提高代码的可维护性和效率。两个字 🐮 🍺 各位大佬来个三连支持一下。
对file_get_contents进行异常捕获
molaifeng的专栏
03-18 6410
项目中，需要用到调用其他组的接口，目前这边就封装了个函数来实现
使用file_get_content
小沐
03-25 2037
file_get_contents( path , include_path , context , start , max_length) 参数 描述 path 必需。规定要读取的文件。 include_path 可选。如果也想在 include_path 中搜寻文件的话，可以将该参数设为 “1”。 context 可选。规定文件句柄的环境。 con...
file_get_content函数用法正确，有时候为什么会报错
睡着的风
05-09 6240
最近在做一个微信公众号模板推送消息的功能，需要根据公众号的appid和appsecret获取access_token，然而，通过file_get_content去读取由appid和appsecret组成的链接地址，却访问不了，提示错误是无法读取数据流，找到php.ini配置文件里面找到 allow_url_fopen = on ,已经是开启状态，所以问题不是出在这，后来各种找解决办法，最后打开，p...
php中curl和file_get_content的区别
qq_26282869的博客
01-05 2184
主要区别： 学习才发现，curl支持很多协议，有FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE以及LDAP，也就是说，它能做到很多file_get_content做不到的事情。curl在php可以实现远程获取和采集内容；实现PHP网页版的FTP上传下载；实现模拟登陆；实现接口对接（API），数据传输；实现模拟Cookie；下载文件断点续传等等
PHP中curl、fsocket与file_get_content对比分析
"这篇文章对比了PHP中的curl、fsocket和file_get_content三个函数在获取远程内容时的应用场景和特点，重点讲述了curl的强大功能和灵活性。" 在PHP开发中，我们经常需要从远程服务器获取数据，这通常涉及到curl、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值