python微信域名或者链接批量检测

好久没上来写博客了，直入主题。

大家经常用google搜索，如何提取搜索结果的链接呢

google搜索结果url提取,F12,来到console端; 粘贴下面语句，回车。

 

var tag=document.getElementsByClassName('r');

 for (var i=0;i<tag.length;i++){
        var a=tag[i].getElementsByTagName("a");
        console.log(a[0].href)
 }

提取出来，保存到url.txt. 待检测的url和域名，一行一个,先经过去重去空白行

import io
import shutil
readPath='oldurl.txt'
writePath='url.txt'
lines_seen=set()
outfiile=io.open(writePath,'a+',encoding='utf-8')
f=io.open(readPath,'r',encoding='utf-8')
for line in f:
    if not len(line):
        continue
    if line not in lines_seen:
        outfiile.write(line)