Python之检测XML文件中URL是否存在

最新推荐文章于 2024-08-14 20:15:00 发布

羁士

最新推荐文章于 2024-08-14 20:15:00 发布

阅读量1.5k

点赞数 2

分类专栏： Python 文章标签： url xml Python 脚本测试

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/dianxin113/article/details/53540408

版权

Python 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

import os, urllib2,urllib
from xml.dom.minidom import parse

要解析URL中的XMl文件，必须先把这个xml文件下载下来再解析，所以：

def downLoadURL(file_name,URL):
    PATH=os.path.abspath('.')+r'\result'
    dest_dir = os.path.join(PATH, file_name)
    try:
        urllib.urlretrieve(URL, dest_dir)
        print 'saving xml in the:', dest_dir
    except:
        print '\tError retrieving the URL:', dest_dir
#file_name为下载的xml保存的文件名，URL为要解析的xml网址


dom = parse(dest_dir)
root = dom.documentElement
itemlist = root.getElementsByTagName('package')
urls=[]
username = '******'
password = '******'
values = {'Username': username, 'Password': password}     #对于xml的链接中需要登录的网址，需要填入用户名和密码
for item in itemlist:
    als = item.getAttribute("articleUrl")
    urls.append(als)
url_all=tuple(set(urls))                                  #去除xml中重复的链接网址
for url_each in url_all:
    url_each = url_each.encode("utf-8")
    if url_each!="":
        try:
            data = urllib.urlencode(values)
            req = urllib2.Request(url_each, data)
            response = urllib2.urlopen(req,timeout=30)
            if response.code == 200:                      #response.code=200则证明这个网址存在
                print 'Exist!'
        except urllib2.HTTPError,e:
            print url_each
            print e.code,e.reason