Linux系统下利用wget命令把整站下载做镜像网站

最新推荐文章于 2022-04-22 11:43:42 发布
最新推荐文章于 2022-04-22 11:43:42 发布
阅读量422 收藏
点赞数
文章标签： 操作系统 c/c++

Linux系统下利用wget命令把整站下载做镜像网站

2011-05-28 18:13:01 | 1次阅读 | 评论：0 条 | itokit Linux系统下利用wget命令把整站下载做镜像网站

在linux下完整的用wget命令整站采集网站做镜像 的命令是及无视网站根目录下的robots.txt限制。并且可以模拟一个正常浏览者的信息下载该网站。

 

C/C++ Code复制内容到剪贴板
  1. wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"  


wget命令参数注释：
 

C/C++ Code复制内容到剪贴板
  1. "-e robots=off"  让wget耍流氓无视robots.txt协议    
  2.   
  3. -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6"  伪造agent信息  
weixin_34132768
关注
镜像网站，wget、HTTrack工具
m0_60352504的博客
12-27 1661
【代码】镜像网站，wget、HTTrack工具。
使用wget递归镜像网站
01-10
有时间看到别人网站的页面比较漂亮，就想给扒皮下来，学习学习。分享一个我常用网站扒皮命令wget 这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。 wget加上参数之后，即可成为相当强大的下载工具。 wget命令详解 wget -r -p -np -k http://xxx.com/xxx -r, –recursive（递归） specify recursive download.（指定递归下载） -k, –convert-links（转换链接） make links in downloaded HTML point to local files.（将下载的HTML
wget与制作网站镜像
子扉居
11-28 976
windows下有这么一个好软件，叫webzip。它能访问一个网站，并把它原貌原样的下载下来。可是这个软件是收费的。 其实在Linux下有一个叫wget的命令行软件能也能实现这样强大的功能。 wget -r -c -nc [url] 就可以从这个url开始将所有连
使用wget 制作网站镜像（仿站）
04-22 1955
一些wget 镜像的介绍 来源于：https://www.coderxing.com/wget-website-mirror.html -r, --recursive 递归循环下载整个站点。 -m, --mirror 制作网站镜像模式。 --no-clobber 避免重复现在相同文件。 -A, --accept=LIST 允许下载的扩展名，逗号分隔。 -k, --convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件，只有完成下载之后才进行转换。
linux备份网页,linux利用wget命令备份网站（镜像拷贝）
weixin_32925455的博客
05-12 316
(转)linux为我们提供了更加强大的命令wget，下面来看一下wget如何备份一个网站下所有文件：首先下载ftp服务器上的所有文件用递归参数-r：wget ftp://name:passwd@ftp.malu.me-r不过以上方式下载下来的文件会出现网站站名的目录，把该目录去掉，加上参数-nH–cut-dirs=number(number为需要削减的目录层数)：wget ftp://name...
linux爬网页镜像,使用wget递归镜像网站
weixin_42393576的博客
05-13 173
有时间看到别人网站的页面比较漂亮，就想给扒皮下来，学习学习。分享一个我常用网站扒皮命令wget这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。wget加上参数之后，即可成为相当强大的下载工具。wget命令详解wget -r -p -np -k http://xxx.com/xxx-r, --recursive(递归) specify recursive download...
Wget下载网页与镜像网站
程序员猴小萌的博客
01-03 6227
本文主要介绍GNU Wget实用程序及其在在FreeBSD操作系统下的安装过程，并对几个最常用的下载功能进行了说明。
linux wget 整站克隆/仿站
小枫的CSDN博客
04-08 8980
linux wget 整站克隆/仿站 教程通过如下命令可以整个网站的源码下载到本地$ wget -r -p -np -k www.avatrade.cnWget参数说明：-r --recursive（递归） specify recursive download.（指定递归下载） -k --convert-links（转换链接） make links in downloaded HTML point
网站整站下载
03-26
3. wget：这是一个命令行工具，适用于Linux和Unix系统，可以递归地下载网站。wget可以根据robots.txt文件的规则进行下载，同时支持断点续传。 4. HTLoader：此工具专为大型网站设计，可以处理大量的网页和数据，...
网站整站下载工具
12-13
网站整站下载工具是一种专门用于将整个网站的内容批量下载到本地计算机上的软件。这些工具能够帮助用户在没有网络连接的情况下访问网站的全部或部分资源，或者进行离线备份和研究。下面将详细介绍这类工具的工作原理...
URL内容提取工具
09-04
URL内容提取工具简化了大家使用wireshark等工具查看网卡都像哪些地址发送了Get请求报文的工作。 使用方法： 1、选择网卡后，打开软件点击开始提取按钮进行监控 2、打开浏览器上网即可，此时可以在程序界面上看到所访问的URL地址
wget抓取整站做本地镜像
08-28 1187
wget本身没有图形界面，所以要进入终端进行操作wget -m -e robots=off -k -E “http://www.abc.net/” 可以将全站下载以本地的当前工作目录，生成可访问、完整的镜像。解释：-m //镜像，就是整站抓取 -e robots=off //忽略robots协议，强制、流氓抓取 -k //将绝对URL链接转换为本地相对URL -E //将所有text
Linux系统下载镜像
“看见月亮就想起你”的博客
08-22 3723
1、Linux官方镜像 Deepin镜像 https://www.deepin.org/mirrors/releases/ Mint 镜像 https://www.linuxmint.com/mirrors.php kernel 镜像站： http://mirrors.kernel.org/ Fedora 官方镜像站： http://mirrors.fedoraproject.org/publiclist https://torrents.fedoraproject.org/ https://admin.f
linux下载镜像的命令wget,Linux wget命令整站下载做网站镜像
weixin_30126739的博客
05-13 2981
wget -m -e robots=off -U “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6” “http://www.example.com/”wget命令 参数注释：“-e robots=off” 让wget耍流氓无视robots.txt协议或者改成-U “...
wget网站镜像下载
布道
01-11 4364
1、镜像方式下载整个网站 #wget -m http://www.example.com/ 如果发现Not following http://www.example/a/ because robots.txt forbids it.Decided NOT to load it. 原来是robots.txt协议要求的，对于这种君子协议 #wget -m -e robots=off http:...
Ubuntu Linux镜像下载
ywl185的专栏
10-14 1403
Ubuntu Linux镜像下载 ubuntu官方： ubuntu CD镜像：http://releases.ubuntu.com/ ubuntu DVD镜像：http://cdimage.ubuntu.com/releases/ ubuntu中国版：http://china-images.ubuntu.com/ 国内镜像（高速）： ubuntu 搜狐镜像：ht
使用 wget 整站下载
悠悠思故乡
10-23 8942
最近发现一个很好的网站：http://ebook.elain.org，里面有大量的技术书籍。于是想使用 wget 把整个网站都下载下来。但是 wget 对中文的 url 支持得不够好，直接使用： 　　wget -m http://ebook.elain.org 下载的话，中文文件名就会乱码，比如“2010架构师大会PPT”就变成了“2010鏋舵瀯甯堝ぇ浼歅PT”。 　　wget --re
下载镜像网站所有文件
weixin_33701251的博客
11-16 1248
镜像网站: 还没有改成多线程下载,所以下载速度较慢. 流程就是先获取资源的url写入文件,然后下载,如果下载中程序意外终止会保存程序当前的下载状态.下次重启下载程序即可继续下载.源码地址 ...
wget命令镜像网站
starstarstone的专栏
07-15 2186
1、Linux下的wget命令：                wget  ：下载工具。 详细参数可以man一下。          下载基本的文件：可以 直接：  wget  -c   http：//  ×××  或者wget -c   ftp：//××      参数：  wget  -c：continue 表示断点续传..                          -b  
Linux系统管理：wget下载工具详解与实战
理解并熟练运用这些wget命令，能极大地提高Linux系统中的文件获取效率和灵活性。同时，对于网络受限的环境，如使用代理或认证的网络，知道如何配置wget至关重要。 最后，Linux系统管理还包括对开机启动流程的理解，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值