原生javascript爬取网页内所有的js文件并且排序
在工作当中需要抓取70000多个网页的内容,并统计出现次数最多的js文件,刚开始的时候觉得可以搞定,但是有几个问题我不得不理清思路,如果你要抓取别人的网页,首先要做几件事: 1.把每个url地址放在一个文件中; 2.用js读取每个url地址; 3.根据每个url地址获取该网页的内容; 4.根据内容正则匹配出所有的<script src=""><script>中的js的文件 5.把得到的文件
原创
2016-10-24 12:52:05 ·
2722 阅读 ·
0 评论