curl+awk抓取并分析网页

最新推荐文章于 2023-07-04 20:04:09 发布

nevasun

最新推荐文章于 2023-07-04 20:04:09 发布

阅读量5.6k

点赞数

分类专栏： Linux系统管理编程语言C/Python 网络技术·移动通信文章标签： access file blog python date 脚本

本文链接：https://blog.csdn.net/nevasun/article/details/7661879

版权

这篇博客介绍了如何使用curl替代Python来抓取CSDN个人博客，特别是当Python方式不再适用时。文章提到了curl的基本用法，如--connect-timeout和-o选项，并给出了一个名为account.sh的shell脚本示例。

摘要由CSDN通过智能技术生成

在之前有一篇文章介绍如何通过python抓取网页，见Python抓取中文网页，但是不久之后就发现这种方式对于CSDN的个人博客的抓取行不通了快哭了。早就听说了curl的强大，今天就拿curl来试一试。

curl的功能很强大，这里有一个curl使用简介，大家可以参考，其他问题请自行百度google之。这里我们只用到了最基本的--connect-timeout 和-o，以抓取本博客为例：

curl -s --connect-timeout 10 -o blog "http://blog.csdn.net/nevasun"

OK，在当前目录下就会有一个blog的文件，我们以纯文本文件的方式打开，就会发现有如下的信息：

<li>访问：<span>10598次</span></li>
<li>积分：<span>610分</span></li>
<li>排名：<span>第13159名</span></li>

关注

专栏目录