解决使用curl打不开页面

最新推荐文章于 2022-06-03 00:30:51 发布
最新推荐文章于 2022-06-03 00:30:51 发布
阅读量2.9k 收藏
点赞数
分类专栏： 数据抓取 文章标签： curl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cain_123456/article/details/51728735
版权

我遇到过这个问题，就是使用curl打开不了页面，查了很多资料；最后为大家提供我的处理方案：
最主要的原因是：页面的header没有设置，导致页面没有识别，
首先通过http://www.runoob.com/php/func-curl_setopt.html查找配置选项：CURLOPT_HTTPHEADER，后面的值是个数组，数组所展现的内容就需要你去添加，打开你的页面检查找出header的内容如图：
这里写图片描述

看到右下角如图的Requests header
这里写图片描述

添加如图所要的三个参数，就可以了
这里写图片描述

生命在于挑战
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cURL（curl-8.4.0）
10-22
curl-8.4.0.tar.gz curl-8.4.0.zip
curl 不支持https解决方法
01-13
curl 不支持https 请求 windows系统file_get_contents返回false远程phpstudy
curl下载curl包下载
06-03
curl下载curl包下载
解析php扩展php_curl.dll不加载的解决方法
12-19
方法一（已通过测试）已经内置有php_curl.dll,在ext目录下,此DLL用于支持SSL和zlib.在php.ini中找到有extension=php_curl.dll, 去掉前面的注释.设置extension_dir=c:\php\ext, 刷新PHP页面时报错, 说找不到模块php_curl.dll.拷贝php_curl.dll 到windows\system32,还是同样的错. 在网上找了一下,需要将:libeay32.dll, ssleay32.dll, php5ts.dll, php_curl.dll 都拷贝到system32目录下,重启apache即可. 方法二也可试试：这个
PHP使用curl_multi_select解决curl_multi网页假死问题的方法
10-18
主要介绍了PHP使用curl_multi_select解决curl_multi网页假死问题的方法,结合实例形式分析了使用curl_multi的过程中并发处理事务导致cpu占用率过高时的解决方法,需要的朋友可以参考下
Curl转python在线工具
大叶子不小的博客
04-12 5023
Convert curl commands to code Curl转python在线工具[转] 我只是工具的搬运工 https://curl.trillworks.com/ 复制到了我自己网站一份， 备用链接1 备用链接2 可以将curl命令转为python代码块 如： curl --request POST --url https://open.workec.com/auth/accesstoken --header 'cache-control: no-cache' --head...
PYTHON爬虫神站——curl.trillworks 爬取数据只需两步！
cywtiancai的博客
09-11 3723
前不久作者因为需要爬取一些建筑类数据 于是又又又准备苦哈哈的打开百度搜索“如何爬取XX”，然后看html，找到关键点再挨个循环访问.....以下省略。 但这次 这款朋友推荐网站拯救了我 他就是 https://curl.trillworks.com/ 为此特地开个文章纪念一下爽快的爬虫时刻。 这朴素的界面 正好象征着其大道至简的核心。 https://hangqing.gldjc.com/flooring/trend_chart/concrete ，首先我们先进入网站 我们准备爬取广材网的一些交易
CURL不能访问 但浏览器可以访问
软件工程小施同学 的专栏
03-31 4641
爬虫中遇到登陆问题的解决方法
weixin_41998772的博客
06-01 4937
在爬取网页时，由于会遇到登录问题而被阻止，此时通过改变头部信息来解决此问题 以爬取京东商品页面为例 1、先登录京东账号 2、摁F12进入调试页面，然后刷新页面，在Network栏中的第一行会出现一个document文件 3、在那个文件上点右键，Copy→Copy as cURL（bash） 4、进入网站 https://curl.trillworks.com/# 将curl command转为Python requests如图 5、复制右侧的headers信息，放到代码中，并在get方法中添加he
curl源码及编译出来的库
12-22
这是在win10-64位环境下用VS2015编译的curl-8.5.0版本，供大家参考使用，如果有用，请点赞支持一下
php curl获取网页内容(IPV6下超时)的解决办法
10-27
如果开启了IPv6，curl默认会优先解析 IPv6，在对应域名没有 IPv6 的情况下，会等待 IPv6 dns解析失败 timeout 之后才按以前的正常流程去找 IPv4
curl爬不到想要的结果，原因何在
welcome to daijiguo's blog
12-14 1854
curl爬不到想要的结果，通常有以下两种可能： 1、前面有重要步骤遗漏，这时，需要回到一开始，一步一步分析有可能遗漏的重要步骤，重新模拟。 2、查找有没有display:none这样的样式，在“审核元素”中将其去除。
【网络相关】curl可以访问浏览器打不开，无法访问此网站，ERR_UNSAFE_PORT。10080端口
Rubik Blog
06-03 7935
今天服务器部署了一个nginx服务，暴露的端口是10080，该服务在terminal上面使用curl可以访问到，手机浏览器可以访问到，但是电脑的浏览器不行，尝试了两个浏览器，谷歌和苹果原生浏览器，均不行。谷歌浏览器显示“无法访问此网站”，ERR_UNSAFE_PORT。通过network查看，该网站在请求的时候，显示的是取消请求，停止访问了。苹果原生的浏览器访问了是转发到了一个未知网站。about:blank。依然是无法访问，而且无法排查问题。该问题的原因是触及到了浏览器的不安全端口，所以无法进行访问，换一
U-NAS OS 系统故障之，WEB控制界面无法登录解决方法
GSWWJM的博客
04-30 5153
https://www.u-share.cn/forum.php?mod=viewthread&tid=192820&highlight=apache2 方法一： 关于web管理页面无法进入的处理方式之一（apache2 无法启动） 昨天升级到4.06，早上发现web管理页面无法登录，我这台暴风酷播云二期是做影音服务器的，系统，自带软件，docker配置调教花了很多时间，已经可以满足需要。如果真挂了，就欲哭无泪了。 之前论坛有朋友 beardmk 遇到无法登录web管理页面的原因是写满了系统
Python爬虫偷懒神器 — 快速构造请求头!
爬遍所有网站
04-09 755
我们在写爬虫构建请求的时候，不可避免地要添加请求头( headers )，一般来说，我们只要添加 user-agent 就能满足绝大部分需求了 但这并不是绝对的，有些请求单单添加一个 user-agent 是不能获取到数据的，在不知道是缺少哪个请求头参数的情况下，我一般会先把所有参数全部添加上，然后再逐个排除。 如果是后面这种情况，相信大家都会有这种感觉：手动将浏览器中请求头复制粘贴然后构造成...
curl无法访问http/https的解决方法
WorldMvp的专栏
11-15 8244
今天遇到一个奇怪的事情，curl无法访问http/https url地址，但是postman可以调用，浏览器也可以访问。如下所示： 仔细看了下curl -v的返回值，发现请求的是本地IP和端口，推测可能有http代理进程干扰。于是，顺藤摸瓜，查询下是否有进程占用这个端口，使用命令如下： $ netstat -a | grep 8123 结果如下所示： 确实是有进程占用这个端口，使...
为了一个HTTP请求问题，差点跟iOS干起来
一个程序员的成长
11-25 291
本次斗殴事件起因全部归iOS，为啥这么说，http请求都不会发，瞎写的什么玩意（ps：他应该不会看到...）。在处理本次冲突中，意外发现了另外一个存在已久的bug，我们先说说这个玩意，再...
神经网络与量子计算的交叉研究.pptx
最新发布
04-19
神经网络与量子计算的交叉研究.pptx
PHP CUrl get 乱码
07-30
PHP Curl获取乱码的解决办法是通过使用`mb_convert_encoding`函数将获取到的网页文本从GB2312转换为UTF-8编码。具体步骤如下：首先打开相应的脚本文件，然后获取网页文本，最后使用`mb_convert_encoding($outPageTxt, 'utf-8','GB2312')`方法将GB2312编码转换为UTF-8编码。这样就可以解决PHP Curl获取乱码的问题。[1]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值