用 python 获取域名列表 再进行备案查询

需要在众多的二手域名中查询他的备案信息，

需要安装beautifulSoup，进行提取，原来是想将内容都获取出来，但是由于批量查询的网站不支持抓取，也没有继续研究，就直接用webbrowser了

http://blog.csdn.net/csapr1987/article/details/9329461

这个是域名列表的源 http://www.wy888.com/news.asp

获取了域名之后，进行拼凑url   

url ='http://beian.links.cn/beian.asp?domains=mp1973.com'+l

每次打开5个页面，否则机器受不了，就是每次进行网页查询50个域名

在http://beian.links.cn下进行查询，需要对这个网站说Thx，

#-*- coding: utf-8 -*-
# by sunlei
import datetime
import urllib2
import httplib
import re
import bs4
import webbrowser
from bs4 import BeautifulSoup
class findurl:
    def __init__(self,url):
        self.url=url
    def read(self):
        req=self.url
        try:
            webpage= urllib2.urlopen(req)
            data=webpage.read()
        except:
            print 'wrong'
            return 'error'
        self.data = data
    def findcom(self):
        self.listcom=[]
        soup = BeautifulSoup(self.data)
        lista=soup.findAll(text=re.compile("com")) #根据需要自行修改
        self.listcom=lista
    def listcom(self):
        self.read()
        self.findcom()
        return self.listcom
class readbeian:
    def __init__(self,listcom):
        self.listcom=listcom
    def writeurl(self):
        self.lista=[]
        for i in range(0,len(self.listcom),9):
            a=self.listcom[i:i+9]
            b=''
            for j in a:
                b=b+'%0D%0A'+j
            self.lista.append(b)
        return self.lista

    def readbeian(self):
        for i in range(0,len(self.lista),5):
            listl=self.lista[i:i+5]
            for l in listl:
                url ='http://beian.links.cn/beian.asp?domains=mp1973.com'+l
                webbrowser.open(url, new=0,autoraise=1)
            a=raw_input('继续打开5个网页 Y or N')
            if a=='Y':
                continue


a=findurl('http://www.wy888.com/news.asp')
b=readbeian(a.listcom())
print b.writeurl()
b.readbeian()