wget与制作网站镜像

最新推荐文章于 2023-03-06 18:05:16 发布
最新推荐文章于 2023-03-06 18:05:16 发布
阅读量964 收藏
点赞数
分类专栏： linux 文章标签： windows url linux 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lophyxp/article/details/6050613
版权

windows下有这么一个好软件，叫webzip。它能访问一个网站，并把它原貌原样的下载下来。可是这个软件是收费的。
其实在Linux下有一个叫wget的命令行软件能也能实现这样强大的功能。
wget -r -c -nc [url]
就可以从这个url开始将所有连接到的站内文件下载下来。
-r 表示递归下载
-c 表示断点续传
-nc 表示遇到已存在的同名文件不再下载，如果缺少这个参数会在同名文件后面加.数字来存储。
当然wget也有windows版本
可以去
http://users.ugent.be/~bpuype/wget/
下载。

lophyxp
关注
专栏目录
镜像网站，wget、HTTrack工具
m0_60352504的博客
12-27 1615
【代码】镜像网站，wget、HTTrack工具。
基于centos、alpine制作Java JDK基础镜像
最新发布
qq_1801743621的博客
10-10 2080
基于centos、alpine制作Java JDK基础镜像。在日常开发中，但凡项目需要docker容器化部署，制作项目镜像前都需要在Dockerfile中配置Java基础镜像。为什么不直接拉取使用docker hub中别人上传的镜像呢，因为在企业开发中，往往需要一些个性化配置（比如设置时区、中文字符集等等）。本文将分别使用CentOS、Alpine基于JDK制作基础镜像提升效率。将构建镜像的过程进行拆解，找到和其它服务的共同点并将其定制为一个基础镜像，有利于镜像的重复利用，提升工作效率。
一步一步教你网站同步镜像
№悟◇
12-12 1181
一步一步教你网站同步镜像1.介绍现在的网站随着访问量的增加,单一服务器无法承担巨大的访问量,有没有什么方便快捷的方式解决这个问题呢,答案是”有”!比如建立服务器群,进行均衡负载.但是如果要解决像电信网通这样的互访问题(中国网民的悲哀..),这个解决办法就无能为了了!要解决这个问题最方便快捷的方式就是建立镜像网站!由访问者自己选择适合自己网络的速度最快的网站!这样即可以解决线路问题,又可以解决访问量
使用wget 制作网站镜像（仿站）
04-22 1929
一些wget 镜像的介绍 来源于：https://www.coderxing.com/wget-website-mirror.html -r, --recursive 递归循环下载整个站点。 -m, --mirror 制作网站镜像模式。 --no-clobber 避免重复现在相同文件。 -A, --accept=LIST 允许下载的扩展名，逗号分隔。 -k, --convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件，只有完成下载之后才进行转换。
使用wget镜像网站
自娱《测试开发》专栏
01-05 363
利用wget命令行镜像指定网站到指定目录，下述命令是windows的（linux的自己类比）： wget -r -p -k -np --convert-links http://网站 -P d:\目录 windows wget下载地址：http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-setup.exe   wget各种选项...
wget镜像网站
weixin_34179968的博客
04-18 168
需要登录的HTTP网站下载 wget -r -p --http-user=www.linuxidc.com --http-passwd=www.linuxidc.com -t3 -T30 -nc --restrict-file-names=nocontrol -np -k http://linux.linuxidc.com/ 参数说明： -r: 递归下载整个目录(网站)...
wget 镜像网站
ssmale的专栏
03-05 757
wget -c -k -m -p -np http://xxx.yyy.net http://yishengyishi886.taobao.com/?qq-pf-to=pcqq.group
Wget下载网页与镜像网站
程序员猴小萌的博客
01-03 6167
本文主要介绍GNU Wget实用程序及其在在FreeBSD操作系统下的安装过程，并对几个最常用的下载功能进行了说明。
使用wget制作精简镜像示例Dockerfile
03-20
通过wget获取docker镜像制作的文件，从而可以有效控制镜像文件的大小
如何快速镜像一个网站
security_yj的博客
09-06 9703
仅需下述几个步骤即可快速镜像一个网站，镜像的内容包括html，js，css，image等静态页面资源，暂时无法镜像有用户交互的动态页面。 1、安装wget工具，以ubuntu系统为例 sudo apt-get install wget 2、下载网站资源 以网站http://www.szsh-gov.com/为例，静态页面比较多 执行如下命令： wget -r -p -np -k http://www.szsh-gov.com/ 下载完成后，查看本地目录结构如下： 3、搭...
使用wget递归镜像网站
01-10
有时间看到别人网站的页面比较漂亮，就想给扒皮下来，学习学习。分享一个我常用网站扒皮命令wget 这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。 wget加上参数之后，即可成为相当强大的下载工具。 wget命令详解 wget -r -p -np -k http://xxx.com/xxx -r, –recursive（递归） specify recursive download.（指定递归下载） -k, –convert-links（转换链接） make links in downloaded HTML point to local files.（将下载的HTML
Linux系统下利用wget命令把整站下载做镜像网站
weixin_34132768的博客
01-16 417
Linux系统下利用wget命令把整站下载做镜像网站 2011-05-28 18:13:01 | 1次阅读 | 评论：0 条 | itokit  在linux下完整的用wget命令整站采集网站做镜像 的命令是及无视网站根目录下的robots.txt限制。并且可以模拟一个正常浏览者的信息下载该网站。  C/C++ Code复制内容到剪贴板 wget -m -e robots=off ...
linux使用wget镜像一个网站
jisonami的专栏
04-25 1060
镜像一个网站的命令： wget -c -m -np -p -k -E -P YourDirectory http://www.server-world.info/en/ -c 断点叙传 -np 不下载站外连接 -p 下载网页需要的元素，如css，img等 -k 转换为本地的链接 -E 将‘text/html’文档以html扩展名保存 -P YourDirect...
wget网站镜像下载
布道
01-11 4333
1、镜像方式下载整个网站 #wget -m http://www.example.com/ 如果发现Not following http://www.example/a/ because robots.txt forbids it.Decided NOT to load it. 原来是robots.txt协议要求的，对于这种君子协议 #wget -m -e robots=off http:...
使用wget命令镜像网站
weixin_33697898的博客
10-22 537
因为内容其实并不多，所以我干脆直接上原文了。做为一个PHP（拍***）的User，抠模版实在太常见了，所以。。。。找啊找，想不到，工具原来一直就在我们身边原文地址：http://blog.chinaunix.net/uid-22780578-id-3346384.html1、Linux下的wget命令： wget ：下载工具。 下载基本的...
wget 获取网站镜像
梦想就在前方
08-17 280
[code="java"]wget -mk -l 1 [url] -m 镜像 -k 转变为本地链接 -l [number] 抓取层级level[/code]
linux shell 抓取 网页 镜像,使用wget做网站镜像
weixin_35902873的博客
05-13 249
记得以前在网上看到一个好网站的时候，因为那时上网时间少，就想着把它整个抓下来，存到自己硬盘上，想什么时候看就什么时候看，那多爽。记忆中那时用的软件就是webzip了，但是这家伙是个共享版，如果你用的不是什么什么特殊版本的话，那么这个家伙是会有限制的，功能上的限制忘了，记得的是好像它会插广告在网页内容里面，这实在是极不爽的一件事。现在虽然上网的时候多了，要查资料的话也能随时上网查，看到好的站也能随时...
本地镜像站搭建
cx860905的专栏
03-06 1239
第一次执行，需要执行一次bandersnatch mirror才会生成/etc/bandersnatch.conf配置文件，才能对配置进行修改。根据需要创建需同步的镜像配置文件，创建 /home/mirrors/tunasync/conf/worker-centos.conf。创建服务端配置文件 /home/mirrors/tunasync/conf/manager.conf。db_file：数据库文件，目前统一放在 /home/mirrors/tunasync/db/ 目录。3、下载镜像并运行开启容器。
docker制作tomcat镜像
04-28
好的，我来为您讲解一下如何制作一个基于 Docker 的 Tomcat 镜像。 首先，您需要准备一个 Dockerfile 文件，内容如下： ```Dockerfile # 指定基础镜像 FROM openjdk:8-jre-alpine # 设置时区为上海 RUN apk add --no-cache tzdata && \ ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \ echo "Asia/Shanghai" > /etc/timezone && \ apk del tzdata # 下载并解压 Tomcat ENV TOMCAT_MAJOR=8 \ TOMCAT_VERSION=8.5.61 RUN wget -O /tmp/apache-tomcat.tar.gz https://archive.apache.org/dist/tomcat/tomcat-${TOMCAT_MAJOR}/v${TOMCAT_VERSION}/bin/apache-tomcat-${TOMCAT_VERSION}.tar.gz && \ tar -xzf /tmp/apache-tomcat.tar.gz -C /opt && \ ln -s /opt/apache-tomcat-${TOMCAT_VERSION} /opt/tomcat && \ rm /tmp/apache-tomcat.tar.gz # 设置环境变量 ENV CATALINA_HOME /opt/tomcat # 添加 Tomcat 用户 RUN addgroup -S tomcat && \ adduser -S -G tomcat -s /bin/false -h ${CATALINA_HOME} tomcat && \ chown -R tomcat:tomcat ${CATALINA_HOME} # 暴露 Tomcat 端口 EXPOSE 8080 # 启动 Tomcat CMD ["${CATALINA_HOME}/bin/catalina.sh", "run"] ``` 然后，您可以执行以下命令来构建并运行容器： ```bash # 构建镜像 docker build -t my-tomcat . # 运行容器 docker run -it --rm -p 8080:8080 my-tomcat ``` 这样就可以在本地的 8080 端口访问 Tomcat 了。如果您需要将镜像上传到 Docker Hub 或其他 Docker 镜像仓库，可以执行以下命令： ```bash # 登录 Docker Hub docker login # 标记镜像 docker tag my-tomcat <your-docker-id>/my-tomcat # 推送镜像 docker push <your-docker-id>/my-tomcat ``` 希望这篇回答能够帮助到您。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值