networkx使用笔记(四)之实战篇--数据的获取

公开的数据集

        网络上针对网络的公开数据集较多，可以google斯坦福的SNAP，里面有分类的数据集

        这里我用了张华平老师公布的微博数据中的关注语料库

        其为xml格式，记录方式如下：

      

<RECORDS>
<RECORD>
<person_id>10145</person_id>
<guanzhu_id>10029</guanzhu_id>
</RECORD>
<RECORD>
<person_id>10145</person_id>
<guanzhu_id>10318</guanzhu_id>
</RECORD>
...
</RECORDS>

      可以利用python十分便利的解析xml，将里面的信息解析出来。为了简单，这里解析的信息，存储在数据库中。

数据的抽取

     这里介绍包括对上述xml文件的信息抽取，以及对其他文件格式，例如txt、gml等文件信息的提取。

1.xml

直接上代码

from xml.etree import ElementTree
import MySQLdb

#从xml文件中读取person_id和guanzhu_id,首先进行id的映射(因为里面的编号不是从1开始的，为了方便，这里重新编号)，存入id_map表中&#x