用wget命令的爬虫功能抓取网页到本地文件，然后用grep命令分析文件。

最新推荐文章于 2024-09-21 17:58:10 发布

iw1210

最新推荐文章于 2024-09-21 17:58:10 发布

阅读量3.5k

点赞数

分类专栏：网络编程

本文链接：https://blog.csdn.net/iw1210/article/details/52730729

版权

本文介绍了如何利用wget命令抓取网页内容并将其保存到本地文件，随后详细讲述了如何运用grep命令在文件中查找特定单词及其出现的次数，例如查找并统计'返回'一词。

摘要由CSDN通过智能技术生成

用wget命令的爬虫功能抓取网页到本地文件，然后用grep命令分析文件。

1. 抓取网页到本地
选择一个网页，比如 http://www.oschina.net/code/snippet_1391852_26067，用wget抓取到本地。
$ wget http://www.oschina.net/code/snippet_1391852_26067
--2016-10-04 00:20:48-- http://www.oschina.net/code/snippet_1391852_26067
Resolving www.oschina.net (www.oschina.net)... 60.174.156.100
Connecting to www.oschina.net (www.oschina.net)|60.174.156.100|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘snippet_1391852_26067’
snippet_1391852_260 [ <=> ] 44.19K --.-KB/s in 0.1s
2016-10-04 00:20:49 (314 KB/s) - ‘snippet_1391852_26067’ saved [45251]

查看：
$ ls
snippet_1391852_26067
已经抓取到本地。