学习笔记 - 如何一次性获得页面所有URL

 

 

1、需求

自己电脑是window 10操作系统，想获得自己博客的所有文章URL列表，比如下面：

 

2、实现方法

比较笨的是，一个个点开，然后在上面的输入框里面copy出来，这种是最笨的办法，但是太累了，效率比较低，面对几百上千个博客文章，那要累死人了，有什么比较搞笑的办法没有，发动脑筋思考了下，想到了一个稍微高效一点点的办法。

 

2.1 博客列表右键查看源代码

 

打开如下所示，是一页html脚本代码

 

 

2.2 并把源代码的所有html代码copy出来

Ctrl + a 全选中，Ctrl + c 直接全部复制到1.txt文件里面，用Notepadd++打开1.txt，就可以看到所有的当前博客列表里面的所有文章url了，html代码有些多，搜索data-articleid就能发现了。

 

2.3 git cmd命令将这些url都找出来

打开git cmd窗口，使用命令 more 1.txt |grep https://moneyfree.blog.csdn.net/article/details 就可以找到所有的url列表

 

 

3、总结

这里最核心的就是以下两点

a、查看源代码，源代码里面有url信息

b、git cmd支持linux命令，能根据关键字通过grep过滤出来所有的url信息