在IDEA中用JWPL解析维基百科数据源并导入MySQL数据库

           在IDEA中用JWPL解析维基百科数据源并导入MySQL数据库

在运行JWPLDataMechine.java时提示需要以下三个文件：

pages-articles.xml.bz2
pagelinks.sql.gz
categorylinks.sql.gz

在网上下载三个文件后，配置相应的文件路径后，运行出错，提示实体类文件加载失败，因为下载的维基百科的xml文件每一个都是几百兆以上，虚拟机无法一次解析那么大的文件，需要更改配置。百度后须在运行虚拟机前添加配置：-DentityExpansionLimit=2147480000

-DtotalEntitySizeLimit=47480000-DtotalEntitySizeLimit=2147480000 -Djdk.xml.totalEntitySizeLimit=2147480000

此时JWPLDataMechine.java可以运行，由于此次解析的是三个小文件，我的电脑配置内存是8G运行内存，运行历时2.3小时

最终在配置的文件路径下生成一个output文件和临时的bin文件，可删除，output文件下有十一个解析好的txt文件

在网下载相应的数据库表sql文件，创建一个MySQL数据库，运行.sql文件先创建相应的表结构，然后再将十一个文件分别导入到对应的表中。

到表需要在MySQL的命令行模式下输入语句：

load data infile 'location' into table table_name;

其中的一个MetaData文件只有一行数据是配置信息，修改后可导入。

大功告成，成功解析维基百科数据并导入MySQL数据库。