wget 抓取网页

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u013310075/article/details/81316652

前言

如何在linux上或者是mac上简单使用爬虫或者是网页下载工具呢?常规的我们肯定是要去下载一个软件下来使用啦,可怜这两个系统总是找不到相应的工具,这时wget出来帮助你啦!!!wget本身是拿来下载东西的,但远不止那么强大,是一把强大利器。

使用指南

  • 快速上手(整个bootstrap网页全被你抓取下来了~)   
wget -c -r -npH -k http://v4.bootcss.com
  • 参数说明

    -c:断点续传 
    -r:递归下载 
    -np:递归下载时不搜索上层目录 
    -nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中 
    -p:下载网页所需要的所有文件(图片,样式,js文件等) 
    -H:当递归时是转到外部主机下载图片或链接 
    -k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了

展开阅读全文

没有更多推荐了,返回首页