目前网上可供下载的数据众多,但是内容庞杂,我把其中比较有用的数据找了出来。
wiki系:
wikipedia大家都不陌生,它的下载地址是: http://dumps.wikimedia.org/ , 这里有详细介绍: http://en.wikipedia.org/wiki/Wikipedia:Database_download
但是wikipedia只是Wikimedia基金会的一个子项目,wikimedia下面还有多个其他的重要项目,包括:
wiktionary 一个语义化的关联词典,形式上类似于wordnet
wikiquote 收录各种名人名言
Wikibooks 免费的教科 书和手册
Wikinews 大量的新闻故事
Wikiversity 免费的教育材料
Wikisour ce 免费的文本内容
上述的这些内容,都可以通过 http://dumps.wikimedia.org/ 下载到。
还有一些小型的wiki项目,比如:
http://simple.wikipedia.org 使用Basic Englis h写的wiki,给儿童和初学者看
http://simple.wiktionary.org 使用Basic English写的wiktionary
wikipedia的数据处理有很多方式,我比较推崇这两个:
jwpl: http://code.google.com/p/jwpl/
wikipedia-miner: http://wikipedia-miner.cms.waikato.ac.nz/wiki/
下面我介绍下另一个商业化的wiki网站: http://www.wikia.com 这个网站上用户可以创建单独的维基网站,下面是排名前250位wikia网站:
http://wikis.wikia.com/wiki/List_of_Wikia_wikis
wikia上的资源也可供下载: http://community.wikia.com/wiki/Help:Database_download
Freebase:
freebase是啥就不解释了,下面给出数据的下载地址:
http://wiki.freebase.com/wiki/Data_dumps freebase自身的数据
http://wiki.freebase.com/wiki/WEX freebase从wikipedia中提取的数据
YAGO2:
http://www.mpi-inf.mpg.de/yago-naga/yago/
dbpedia:
http://www.dbpedia.org
如果要找LinkedData,可以来这里: http://www.thedatahub.org 这里收集了很多Linked Data
http://linkeddata.org/ 这里有一张图,给出了各种linkeddata的关系和影响力。
如果要找各种网上的api,可以来这里: http://www.programmableweb.com
现在外国政府纷纷对外公开数据,下面是几个政府的开放数据集:
http://data.gov.au 澳大利亚
http://data.dc.gov 美国哥伦比亚州的
http://www.data.gov 美国
http://data.gov.uk 英国
http://databases.lapl.org/ 洛杉矶地区的开放数据集,知道硅谷为啥这么牛了吧
http://www.gov.hk/en/theme/psi/welcome 香港政府也公开了很多数据
对比一下,外国政府做了这么多实事,人民大会堂里的那些酒囊饭袋们都在干什么?
http://lexsrv3.nlm.nih.gov/LexSysGroup/Projects/lexAccess/current/web/download.html 美国国家卫生署发布的词表
http://www.census.gov/genealogy/www/data/2000surnames/index.html 美国统计局的姓名数据
https://www.cia.gov/library/publications/download/ 美国中央情报局发布的factbook,介绍了世界各国情况
连卫生署,统计局和中情局这种单位都为美国的信息建设做出了这么多的贡献,我们应该知道自己跟美帝的差距有多大了 吧。
叙词表:
http://www.nlm.nih.gov/mesh/filelist.html mesh,关于医学的受控词表
http://id.loc.gov/download/ 美国国会图书馆发布的叙词表
一些三元组数据:
http://www.cs.utexas.edu/users/pclark/dart/ 采集自BNC(英国国家语料库)和Reuters,2300万条
http://reverb.cs.washington.edu/ 华盛顿大学的项目,1500万条
http://www.cs.washington.edu/research/sherlock-hornclauses/ 大约有200-300万条数据
http://www.cs.rochester.edu/research/knext 有535万条数据,来自BNC和布朗语料库
http://rtw.ml.cmu.edu/rtw/resources readtheweb项目,数据量较小
机读词典:
http://wordnet.princeton.edu/ 英语的wordnet
http://nlpwww.nict.go.jp/wn-ja/index.en.html 日语的wordnet
http://alpage.inria.fr/~sagot/wolf-en.html 法语的wordnet
http://wordnet.ru/ 俄罗斯的wordnet
http://cl.haifa.ac.il/projects/mwn/index.shtml 希伯来语的wordnet
http://wordnet.dk/dannet/menu?item=2 丹麦语的wordnet
http://grial.uab.es/sensem/download?idioma=en 西班牙语的wordnet
http://www.ling.helsinki.fi/en/lt/research/finnwordnet/download.shtml 芬兰语的wordnet
这些不同版本的wordnet都是免费下载的。可恨中国泱泱五千年的文明古国,文献典故浩如烟海,竟连一份免费且公开的机读词典都没有。这是汉语的耻辱,中国的耻辱,也是中华民族的耻辱。特别是中科院计算所和自动化所的人们,你们觉得呢?(顺祝hownet生意兴隆,越卖越好)
http://dico.fj.free.fr/dico.php 日法词典
http://www.csse.monash.edu.au/~jwb/edict.html 日英词典
http://cc-cedict.org/wiki/start 中文到英文的词典,终于出来中文的了,可惜是外国人搞出来的。
https://framenet.icsi.berkeley.edu 基于框架语义学的东东,恐怕不能算词典,不过没地儿放了。
语料库:
http://opus.lingfil.uu.se/ 开放的平行语料库
http://opus.lingfil.uu.se/OpenSubtitles_v2.php 大量电影字幕的下载地址
http://www.statmt.org/europarl 欧洲议会的平行语料库
http://www.anc.org/OANC/ 开放的美国国家语料库
http://snap.stanford.edu/data/ 斯坦福大学的SNAP项目,抓了很多数据,不过时间较早,只有研究价值
wiki系:
wikipedia大家都不陌生,它的下载地址是: http://dumps.wikimedia.org/ , 这里有详细介绍: http://en.wikipedia.org/wiki/Wikipedia:Database_download
但是wikipedia只是Wikimedia基金会的一个子项目,wikimedia下面还有多个其他的重要项目,包括:
wiktionary 一个语义化的关联词典,形式上类似于wordnet
wikiquote 收录各种名人名言
Wikibooks 免费的教科 书和手册
Wikinews 大量的新闻故事
Wikiversity 免费的教育材料
Wikisour ce 免费的文本内容
上述的这些内容,都可以通过 http://dumps.wikimedia.org/ 下载到。
还有一些小型的wiki项目,比如:
http://simple.wikipedia.org 使用Basic Englis h写的wiki,给儿童和初学者看
http://simple.wiktionary.org 使用Basic English写的wiktionary
wikipedia的数据处理有很多方式,我比较推崇这两个:
jwpl: http://code.google.com/p/jwpl/
wikipedia-miner: http://wikipedia-miner.cms.waikato.ac.nz/wiki/
下面我介绍下另一个商业化的wiki网站: http://www.wikia.com 这个网站上用户可以创建单独的维基网站,下面是排名前250位wikia网站:
http://wikis.wikia.com/wiki/List_of_Wikia_wikis
wikia上的资源也可供下载: http://community.wikia.com/wiki/Help:Database_download
Freebase:
freebase是啥就不解释了,下面给出数据的下载地址:
http://wiki.freebase.com/wiki/Data_dumps freebase自身的数据
http://wiki.freebase.com/wiki/WEX freebase从wikipedia中提取的数据
YAGO2:
http://www.mpi-inf.mpg.de/yago-naga/yago/
dbpedia:
http://www.dbpedia.org
如果要找LinkedData,可以来这里: http://www.thedatahub.org 这里收集了很多Linked Data
http://linkeddata.org/ 这里有一张图,给出了各种linkeddata的关系和影响力。
如果要找各种网上的api,可以来这里: http://www.programmableweb.com
现在外国政府纷纷对外公开数据,下面是几个政府的开放数据集:
http://data.gov.au 澳大利亚
http://data.dc.gov 美国哥伦比亚州的
http://www.data.gov 美国
http://data.gov.uk 英国
http://databases.lapl.org/ 洛杉矶地区的开放数据集,知道硅谷为啥这么牛了吧
http://www.gov.hk/en/theme/psi/welcome 香港政府也公开了很多数据
对比一下,外国政府做了这么多实事,人民大会堂里的那些酒囊饭袋们都在干什么?
http://lexsrv3.nlm.nih.gov/LexSysGroup/Projects/lexAccess/current/web/download.html 美国国家卫生署发布的词表
http://www.census.gov/genealogy/www/data/2000surnames/index.html 美国统计局的姓名数据
https://www.cia.gov/library/publications/download/ 美国中央情报局发布的factbook,介绍了世界各国情况
连卫生署,统计局和中情局这种单位都为美国的信息建设做出了这么多的贡献,我们应该知道自己跟美帝的差距有多大了 吧。
叙词表:
http://www.nlm.nih.gov/mesh/filelist.html mesh,关于医学的受控词表
http://id.loc.gov/download/ 美国国会图书馆发布的叙词表
一些三元组数据:
http://www.cs.utexas.edu/users/pclark/dart/ 采集自BNC(英国国家语料库)和Reuters,2300万条
http://reverb.cs.washington.edu/ 华盛顿大学的项目,1500万条
http://www.cs.washington.edu/research/sherlock-hornclauses/ 大约有200-300万条数据
http://www.cs.rochester.edu/research/knext 有535万条数据,来自BNC和布朗语料库
http://rtw.ml.cmu.edu/rtw/resources readtheweb项目,数据量较小
机读词典:
http://wordnet.princeton.edu/ 英语的wordnet
http://nlpwww.nict.go.jp/wn-ja/index.en.html 日语的wordnet
http://alpage.inria.fr/~sagot/wolf-en.html 法语的wordnet
http://wordnet.ru/ 俄罗斯的wordnet
http://cl.haifa.ac.il/projects/mwn/index.shtml 希伯来语的wordnet
http://wordnet.dk/dannet/menu?item=2 丹麦语的wordnet
http://grial.uab.es/sensem/download?idioma=en 西班牙语的wordnet
http://www.ling.helsinki.fi/en/lt/research/finnwordnet/download.shtml 芬兰语的wordnet
这些不同版本的wordnet都是免费下载的。可恨中国泱泱五千年的文明古国,文献典故浩如烟海,竟连一份免费且公开的机读词典都没有。这是汉语的耻辱,中国的耻辱,也是中华民族的耻辱。特别是中科院计算所和自动化所的人们,你们觉得呢?(顺祝hownet生意兴隆,越卖越好)
http://dico.fj.free.fr/dico.php 日法词典
http://www.csse.monash.edu.au/~jwb/edict.html 日英词典
http://cc-cedict.org/wiki/start 中文到英文的词典,终于出来中文的了,可惜是外国人搞出来的。
https://framenet.icsi.berkeley.edu 基于框架语义学的东东,恐怕不能算词典,不过没地儿放了。
语料库:
http://opus.lingfil.uu.se/ 开放的平行语料库
http://opus.lingfil.uu.se/OpenSubtitles_v2.php 大量电影字幕的下载地址
http://www.statmt.org/europarl 欧洲议会的平行语料库
http://www.anc.org/OANC/ 开放的美国国家语料库
http://snap.stanford.edu/data/ 斯坦福大学的SNAP项目,抓了很多数据,不过时间较早,只有研究价值
上面所列出的数据大多是英文的,中文的可供下载的数据少到可以忽略不计。此种局面估计十年内不会改变