wget和curl使用代理总结

最新推荐文章于 2023-10-08 19:50:07 发布
最新推荐文章于 2023-10-08 19:50:07 发布
阅读量3.1k 收藏 1
点赞数 1
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iloveyin/article/details/41806163
版权

一、wget设置代理

eg:

wget -Y on -e "http_proxy=http://10.0.0.172:9201" "www.wo.com.cn"

此命令使用10.0.0.172:9201这个代理服务器IP和端口访问站点www.wo.com.cn

参数说明

-Y  是否使用代理

-e  执行命令

二、curl设置代理

eg:

curl -x 10.0.0.172:80 www.wo.com.cn

此命令使用10.0.0.172:80这个代理服务器IP和端口访问站点www.wo.com.cn

参数说明

-x  设置代理，格式为host[:port]，port的缺省值为1080


使用socks5代理方法：

--socks5-hostname host:port

iloveyin
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CURL用法大全
10-21
1.访问http页面内容，输出到标准输出 curl http://www.neocanable.com 2.生成文件 curl -o index.html http://www.neocanable.com 以远程文件名保存 curl -O http://www.neocanable.com 参数-o为输出到某个文件，上面的命令等同于wget http://www.neocanable.com或者curl http://www.neocanable.com > index.html 3.添加proxy curl -x xxx.xxx.xxx.xxx http://www.neocanable.com 通过代理ip访问网页 4.添加浏览器信息 通常服务器的日志会记录客户端浏览器的信息 curl -A “浏览器信息” http://www.neocanable.com 5.批量下载文件 curl http://www.xxx.com/action/[1-100].html > /dev/null 这个最适合爬自己网站的缓存了 文件下载后重新命名和类正则使用,下载后的文件是demo1-001.html curl -o #1_#2 http://www.xxx.com/~{demo1,demo2}/[1-100].html 创建需要的目录 curl -o –create-dirs http://www.xxx.com/~{demo1,demo2}/[1-100].html 6.分块下载 curl -r 0-1024 http://www.xxx.com/aa.zip curl -r 1025- http://www.xxx.com/aa.zip 先下1M,然后再下剩下的 7.curl ftp 访问ftp地址 curl -u username:password ftp://www.xxx.com curl -u ftp://www.xxx.com 添加端口 curl -u username:password -P8899 ftp://www.xxx.com 上传文件到ftp curl -T /home/neo/demo.jpg -u username:password ftp://www.xxx.com 8.测试参数 测试站点相应时间 curl -o /dev/null -s -w %{time_connect}:%{time_starttransfer}:%{time_total} www.google.com 查看http_code curl -o /dev/null -s -w %{http_code} http://www.neocanable.com 网页或文件大小 curl -o /dev/null -s -w %{size_header} http://www.neocanable.com http_code:http返回类似404,200,500等 time_total:总相应时间 time_namelookup:域名解析时间 time_connect:连接到目标地址耗费的时间 time_pretransfer:从执行到开始传输文件的时间间隔 time_starttransfer:从执行到开始传输文件的时间间隔 size_download:下载网页或文件大小 size_upload:上传文件大小 size_header:响应头 size_request:发送请求参数大小 speed_download：传输速度 speed_upload:平均上传速度 content_type:下载文件类型. (Added in 7.9.5) 9.post和get请求 get请求 curl “param1=name&params2=pass” http://www.xxx.com post请求 curl -d “param1=name&params2=pass” http://www.xxx.com 10.响应超时 curl -m 40 http://www.xxx.com curl –timeout 40 http://www.xxx.com 11.破解网站的防盗链 curl -e “http://www.a.net” http://www.b.net/acion 12.网站头部信息 curl -I http://www.neocanable.com 13.更总url跳转 curl -L http://url.cn/2yQFfd 14.正确的给url编码 curl –data-urlencode http://www.xxx.com/action?name=张三&sex=男 15.限制url的传输速度 curl –limit-rate http://www.xxx.com/action 16.限制下载文件大小 curl –max-filesize 1024 http://www.xxx.com/action 超过1M将不执行操作，并且返回出错 17.curl错误代码 1:未支持的协议。此版cURL不支持这一协议。 2:初始化失败。 3:URL格式错误。语法不正确。 5:无法解析代理。无法解析给定代理主机。 6:无法解析主机。无法解析给定的远程主机。 7:无法连接到主机。 8:FTP非正常的服务器应答。cURL无法解析服务器发送的数据。 9:FTP访问被拒绝。服务器拒绝登入或无法获取您想要的特定资源或目录。最有可能的是您试图进入一个在此服务器上不存在的目录。 11:FTP 非正常的PASS回复。cURL无法解析发送到PASS请求的应答。 13:FTP 非正常的的PASV应答，cURL无法解析发送到PASV请求的应答。 14:FTP非正常的227格式。cURL无法解析服务器发送的227行。 15:FTP无法连接到主机。无法解析在227行中获取的主机IP。 17:FTP无法设定为二进制传输。无法改变传输方式到二进制。 18:部分文件。只有部分文件被传输。 19:FTP不能下载/访问给定的文件， RETR (或类似)命令失败。 21:FTP quote错误。quote命令从服务器返回错误。 22:HTTP 找不到网页。找不到所请求的URL或返回另一个HTTP 400或以上错误。此返回代码只出现在使用了-f/–fail选项以后。 23:写入错误。cURL无法向本地文件系统或类似目的写入数据。 25:FTP 无法STOR文件。服务器拒绝了用于FTP上传的STOR操作。 26:读错误。各类读取问题。 27:内存不足。内存分配请求失败。 28:操作超时。到达指定的超时期限条件。 30:FTP PORT失败。PORT命令失败。并非所有的FTP服务器支持PORT命令，请尝试使用被动(PASV)传输代替！ 31:FTP无法使用REST命令。REST命令失败。此命令用来恢复的FTP传输。 33:HTTP range错误。range “命令”不起作用。 34:HTTP POST错误。内部POST请求产生错误。 35:SSL连接错误。SSL握手失败。 36:FTP 续传损坏。不能继续早些时候被中止的下载。 37:文件无法读取。无法打开文件。权限问题？ 38:LDAP 无法绑定。LDAP绑定(bind)操作失败。 39:LDAP 搜索失败。 41:功能无法找到。无法找到必要的LDAP功能。 42:由回调终止。应用程序告知cURL终止运作。 43:内部错误。由一个不正确参数调用了功能。 45:接口错误。指定的外发接口无法使用。 47:过多的重定向。cURL达到了跟随重定向设定的最大限额跟 48:指定了未知TELNET选项。 49:不合式的telnet选项。 51:peer的SSL证书或SSH的MD5指纹没有确定。 52:服务器无任何应答，该情况在此处被认为是一个错误。 53:找不到SSL加密引擎。 54:无法将SSL加密引擎设置为默认。 55:发送网络数据失败。 56:在接收网络数据时失败。 58:本地证书有问题。 59:无法使用指定的SSL密码。 60:peer证书无法被已知的CA证书验证。 61:无法辨识的传输编码。 62:无效的LDAP URL。 63:超过最大文件尺寸。 64:要求的FTP的SSL水平失败。 65:发送此数据需要的回卷(rewind)失败。 66:初始化SSL引擎失败。 67:用户名、密码或类似的信息未被接受，cURL登录失败。 68:在TFTP服务器上找不到文件。 69:TFTP服务器权限有问题。 70:TFTP服务器磁盘空间不足。 71:非法的TFTP操作。 72:未知TFTP传输编号(ID)。 73:文件已存在(TFTP) 。 74:无此用户(TFTP) 。 75:字符转换失败。 76:需要字符转换功能。 77:读SSL证书出现问题(路径？访问权限？ ) 。 78:URL中引用的资源不存在。 79:SSH会话期间发生一个未知错误。 80:未能关闭SSL连接。 82:无法加载CRL文件，丢失或格式不正确(在7.19.0版中增加 ) 。 83:签发检查失败(在7.19.0版中增加 ) 。
wget和curl中使用代理
阳光岛主
03-23 2万+
命令使用代理wget/curl 都支持使用代理wget -e “http_proxy=10.1.4.43:8080″  proxy.mimvp.comcurl -x 10.1.4.43:8080 proxy.mimvp.com 环境变量使用代理curl、wget也支持通过环境变量http_proxy来设置要使用的代理服务器， 如下：# 这个帐号使用的代理服务器http_proxy=”http://
curl使用socket5代理访问
u010674101的专栏
11-21 4356
In curl >= 7.18.0, you can use 使用socket5代理访问 curl --socks5-hostname 127.0.0.1:10808 https://download.xxxabcw.com/xxxabcv32.apk -o xxxabcv32.apk curl --socks5-hostname 127.0.0.1:10808 -O https://dow...
http请求的时候Header加 Authorization值实现方式
kinghuahua
05-08 5万+
http请求的时候Header加 Authorization值实现方式
curl命令大全
weixin_30345055的博客
12-26 320
curl 命令行工具的使用及命令参数说明 curl是一个开源的用于数据传输的命令行工具与库，它使用URL语法格式，支持众多传输协议，包括：HTTP、HTTPS、FTP、FTPS、GOPHER、TFTP、SCP、SFTP、SM...
wget和curl设置代理服务器的命令
热门推荐
胡振伟博客
07-22 7万+
一、wget设置代理 eg:wget -Y on -e "http_proxy=http://10.0.0.172:9201" "www.wo.com.cn"此命令使用10.0.0.172:9201这个代理服务器IP和端口访问站点www.wo.com.cn 参数说明-Y  是否使用代理-e  执行命令   二、curl设置代理 eg:cu
curl/wget和git代理配置
最新发布
建模分析师胡选来
10-08 597
1. root用户在ubuntu上安装v(x)ray客户端服务并启动，客户端配置文件可用v(x)ray在windows上服务器列表上右键点击“导出所选服务器为客户端配置”来生成。这样安装脚本中有google或者github下载任务都没问题了，适合用本地虚拟机搭建开发测试服务器的场景。在/root/.bashrc中添加。2. 配置git的代理。
Linux - 一篇带你读懂 Curl Proxy 代理模式
牧码的博客
07-28 5287
curl是一个很有名的处理网络请求的类Unix工具。出于某种原因，我们进行网络请求，需要设置代理。本文讲全面介绍如何为curl设置代理。
在wget中指定代理服务器
qq_43668159的博客
02-24 1440
在wget中指定代理服务器
如何配合代理使用cURL？
candice931020的博客
05-17 3444
配合代理使用cURL 本文将分步骤介绍如何配合代理服务器使用cURL或curl。从安装到设置代理的各种选项，面面俱到。 本教程适用于所有代理服务器。您只需要知道服务器详细信息和凭据即可。 这是一门技术性很强的教程，希望读者能对代理是什么有一个基本的了解。对于那些从网络抓取开始学习的人来说，这将是特别有趣和有用的一门教程。 什么是cURL？ cURL是用于使用url发送和接收数据的命令行工具。让我们看一下使用curl的最简单的例子。打开terminal或命令提示符，然后键入以下命令，然后按.
dePAC:CLI应用程序的无缝代理自动配置（又名Web代理自动发现）
03-20
姓名dePAC-用于代理自动配置的便携式CLI解决方案版本测试版质量代码！！！自行承担风险！！！欢迎补丁！！！概要# Wrap the command so it runs through the auto-detected proxy:$ depac curl whatismyip.akamai....
httpie：替代cURL的一个命令行HTTP 客户端-python
06-18
CLI HTTP客户端，用户友好的curl代替拥有直接的UI，JSON支持，语法高亮，类似wget的下载 HTTPie：一个 CLI，类似 cURL 的人类工具 HTTPie（发音为 aitch-tee-tee-pie）是一个命令行 HTTP 客户端。 它的目标是使 CLI...
heproxy:适用于插件不兼容浏览器和其他任何地方的 HTTPS Everywhere 代理
06-27
如果您已经在浏览器中使用 HTTPS Everywhere，但只想确保您的lynx 、 curl和wget连接在可能的情况下受到保护，请执行以下操作： $ heproxy -listen :9999 & 然后设置http_proxy环境变量： $ export ...
vDDoS-Protection:欢迎使用vDDoS，它是HTTP（S）DDoS保护反向代理。 谢谢您的使用！
05-10
yum -y install curl wget gc gcc gcc-c++ pcre-devel zlib-devel make wget openssl-devel libxml2-devel libxslt-devel gd-devel perl-ExtUtils-Embed GeoIP-devel gperftools gperftools-devel
ansible常用模块用法
专注于互联网架构技术，努力成为一名架构师
07-21 5万+
ansible 默认提供了很多模块来供我们使用。在 Linux 中，我们可以通过 ansible-doc -l 命令查看到当前 ansible 都支持哪些模块，通过 ansible-doc  -s  模块名  又可以查看该模块有哪些参数可以使用。        下面介绍比较常用的几个模块： 1 2 3 4 5 6 7 8
Linux netstat命令详解
专注于互联网架构技术，努力成为一名架构师
08-12 4万+
简介 Netstat 命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。 输出信息含义 执行netstat后，其输出结果为 Active Internet connections (w/o servers) Proto Re
关闭ssh密码登录
专注于互联网架构技术，努力成为一名架构师
09-18 1万+
我们经常使用SSH登录管理服务器，在享受便利的同时也会遇到一些安全隐患，最常见的就是SSH密码被暴力破解。如果我们将SSH密码设置的过于复杂，又不容易记，因此限制SSH登录方式，只能使用key登录是一个不错的选择，既可以保证安全性，又非常方便。具体的修改方式如下： 1、添加信任key，并测试能否不通过密码直接登录     将公钥信息加入用户目录的SSH认证key文件下。（linux下可
yum添加网易和搜狐源
专注于互联网架构技术，努力成为一名架构师
10-29 8557
先进入yum源配置目录 cd /etc/yum.repos.d 备份系统自带的yum源 mv CentOS-Base.repo CentOS-Base.repo.save 163的yum源： wget http://mirrors.163.com/.help/CentOS-Base-163.repo sohu的yum源： wget http://mirrors.sohu.com/
压力测试工具ab 及 centos下单独安装方法
专注于互联网架构技术，努力成为一名架构师
04-08 8303
Apache安装包中自带的压力测试工具 Apache Benchmark(简称ab) 简单易用，这里就采用 ab作为压力测试工具了。 1.独立安装 ab运行需要依赖apr-util包，安装命令为：  1 yum install apr-util 安装依赖 yum-utils中的
wget和curl的区别
06-28
### 回答1： wget和curl都是用于从网络上下载文件的命令行工具，但它们有以下区别： 1. wget支持递归下载，可以下载整个网站，而curl不支持递归下载。 2. curl支持更多的协议，包括FTP、SMTP、POP3等，而wget只支持HTTP和FTP。 3. curl可以同时下载多个文件，而wget只能一个一个下载。 4. curl支持更多的选项和功能，例如HTTP认证、代理、上传文件等，而wget的功能相对较少。 总的来说，如果只是简单地下载文件，两者都可以胜任，但如果需要更复杂的操作，curl可能更适合。 ### 回答2： wget和curl都是Linux系统中常用的命令行工具，用于从互联网上下载文件或获取网页内容。虽然它们具有一些相似的功能，但它们之间仍存在一些差异。 首先，wget可用于下载文件、整个网站和FTP目录等。它的操作比较简单，只需要指定待下载的URL即可。此外，它还支持断点续传，可以从上次下载的位置继续下载，节省了下载时间和带宽。wget还可以递归下载，即下载网页内的所有链接指向的文件或网页，并按照相应的目录结构存储下来。 而curl的功能更加强大，支持下载文件、获取网页内容、发送HTTP请求等众多功能。它可以处理多个URL和文件，具有更多的定制选项，可以通过指定请求头、设置代理、用户认证等方式进行更丰富的请求控制。curl也支持SSL/TLS协议和cookie的使用，可以使用HTTP、FTP、SMTP等各种协议进行数据传输。 当然，wget和curl也有一些相似的功能。例如，它们都可以从URL获取内容并显示在命令行中。在某些方面，wget和curl都可以使用管道和脚本进行处理，以执行更复杂的任务和自动化操作。此外，它们还都支持非交互式模式，可以在后台运行，不需要用户干预。 总的来说，wget适合下载文件或整个网站和FTP目录等简单文本任务，而curl更加适合与Web服务和API进行交互，具有更多的定制选项和控制。对于一般用户而言，wget更加简单易用，对于需要更高级定制和控制的开发人员而言，curl是更好的选择。 ### 回答3： wget和curl都是用来下载网络资源的工具，但它们有一些重要的区别。 首先，wget的主要目的是下载文件，通常用于从HTTP或FTP服务器下载文件。它可以递归下载整个目录，支持断点续传和基本HTTP身份验证。wget可以在后台运行，可以在下载期间关闭终端，但它不能输出请求和响应信息。wget还可以从外部文件中读取要下载的文件列表。 而curl则是一个更好的网络工具，它支持多种协议，包括HTTP、FTP、SMTP、POP3、IMAP等，它不仅可以下载文件，还可以搜索和提交表单数据，以及进行许多其他网络活动。curl可以输出请求和响应的详细信息，可以定义自定义头部，支持代理和cookie。curl还可以处理SSL证书，支持DNS解析和HTTP重定向等更高级的功能。curl可以通过命令行参数来指定请求类型和其他选项。 此外，wget和curl也有不同的语法。在使用curl时，用户需要指定请求类型（GET、POST等）和URL，然后使用选项来控制请求的不同方面。而在wget中，用户通常只需要指定URL即可，在需要的情况下使用选项来添加更高级的功能。 综上所述，wget和curl都是强大的网络工具，但它们有不同的用途和功能。如果只需要下载文件，使用wget可能更加简单和直观，而如果需要更多的网络操作和控制，则使用curl可能更加灵活和可定制化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值