利用python解析xml, json

最新推荐文章于 2022-11-30 17:16:06 发布

ivyxjc

最新推荐文章于 2022-11-30 17:16:06 发布

阅读量720

点赞数

文章标签： xml parse python spider

本文链接：https://blog.csdn.net/ivyxjc/article/details/53353383

版权

　XML

需要到的库:

from xml.dom.minidom import parse
import xml.dom.minidom

豆瓣sitemap_index.xml格式如下(2016-10-29):

<sitemapindex>
    <sitemap>
        <loc>https://www.douban.com/sitemap3782.xml.gz</loc>
        <lastmod>2016-10-19T10:36:31Z</lastmod>
    </sitemap>
    <sitemap>
        <loc>https://www.douban.com/sitemap3783.xml.gz</loc>
        <lastmod>2016-10-19T10:36:31Z</lastmod>
    </sitemap>
</sitemapindex>

解析过程:

xml_str=douban.sitemap.xml
DOMTree =xml.dom.minidom.parseString(xml_str)
collection = DOMTree.documentElement
elements=collection.getElementsByTagName("sitemap")
for i in elements:
    a=i.getElementsByTagName("loc")
    print(a[0].childNodes[0].nodeValue)

　Json

map={}
for i in range(0,3783):
    map[i]=0

with open("text\\sitemap_config.json","w") as f:
    json.dump(map,f)

map={}
with open("text\\sitemap_config.json", 'r') as f:
    map = json.load(f)
print(map)