python爬虫检查后台配置

起因：由于各种原因，导致后台不同平台配置新的服务器只能手动配置，不能通过写后台数据表写入及读取

解决：后端做了个jsp脚本直接在谷歌浏览器自动执行脚本，一键导入新增的服务器

那么作为测试，如何验证一键导入后，是否保证所有平台都新增了该服务器信息，以及信息的准测性

解决办法1：人工手动验证，一个一个点击平台->服务器管理，查看服务器信息，反复点击几十次

解决办法2：让后端再写个验证的脚本，测试去执行该脚本

解决办法3：自己通过python爬虫的方式解析html，验证新增服务器信息

———————————————————————华丽的分割线-------------------------------------------------------------

虽然后端给了个jsp的验证脚本，但还是想自己通过python爬虫方式验证：

1、urllib2获取网页内容，打印网页内容直接print respond.read()：

参考：http://blog.csdn.net/pleasecallmewhy/article/details/8923725

    data = {'j_username': username, 'j_password': password}

    url = 'http://xxx.xxx.xxx.xxx:8080/login'
    postdata = urllib.urlencode(data)
    request = urllib2.Request(url,postdata)


    try:
        respond = urllib2.urlopen(request)
  
    except urllib2.URLError as e:
        print e.reason

2、使用BeautifulSoup，解析html

参考：静觅 » Python爬虫利器二之Beautiful Soup的用法

期间不知道Soup的对象类型，所以一直加打印，打出对象的类型：如是Tag还是NavigableString，print type()调试让自己少走了些弯路

主要步骤：

1、获取所有平台

2、获取第一个平台上所有的服务器信息

3、遍历平台所有服务器信息的同时，和验证的信息进行对比，并做一个标志

4、做完标志后，在遍历完平台服务器信息后面输出该平台的结果

5、获取下一个平台，执行第3，第4步骤

反复执行5，直到所有平台都遍历完毕