java 爬 维基百科_爬取维基百科词条

python爬取维基百科词条，获得某词汇页面中释义段落的加粗词汇、链接词汇以及所爬词汇对应的分类，为自动构建同义词汇树准备数据。

以下代码可能为一次性代码，因为解析html靠的是标签的相对位置，维基百科的html标签修改后，可能会对爬虫有影响，所以先给出学习爬虫的资料，页面改动后代码对应改动即可。

requests库使用教程

BeautifulSoup使用教程

这个爬虫是爬取我指定文件中包含的词汇，并不是在维基百科随便爬取，你可以在一个文件中指定要爬取的词汇，也可以看这篇文章获得指定文件。

# -*- coding: utf-8 -*-

import requests

from bs4 import BeautifulSoup

def get_word(folder_name, file_name):

fp = open(folder_name + '/' + file_name, 'r')

for line in fp:

yield line.split('\t')[0]

fp.close()

def download_html(url, word):

response = requests.get(url + word)

return response.text

def parse_html(html, word):

'''

维基百科3类不正常页面：

1. 消歧页

2. 重定向页

3. 长度过短文章 (不必处理)

'''

def write2file(fp, arr):

for item in arr:

fp.write(item.encode('utf-8') + '#')

fp.write('|||')

soup = BeautifulSoup(html, 'html.parser')

content = soup.find(id='mw-content-text')

redirect = soup.find(attrs={'class' : 'mw-redirectedfrom'})

title = ''

if redirect != None:

title = soup.find(id='firstHeading').text

print '重定向到', title

ambiguity = content.find_all(id='disambigbox')

if len(ambiguity) != 0:

'''

对歧义词分文件存储

'''

print '是消岐页'

fp_ambiguity = open('ambiguity.txt', 'a')

fp_ambiguity.write(word + '|||' + title.encode('utf-8') + '|||')

# 加粗的词汇

paragraphs = content.find_all('b')

for b in paragraphs:

fp_ambiguity.write(b.text.strip().encode('utf-8') + '#')

fp_ambiguity.write('|||')

# 消歧页的歧义列表 取出链接指向关系

lis = content.find_all('li')

for li in lis:

fp_ambiguity.write(li.a.text.strip().encode('utf-8') + '#')

fp_ambiguity.write('|||')

fp_ambiguity.write('\n')

fp_ambiguity.close()

return

# 取出词汇的分类

catlinks_arr = []

catlinks = soup.find(id='mw-normal-catlinks').find_all('li')

for catlink in catlinks:

catlinks_arr.append(catlink.a.text)

arr_para = []

arr_b = []

arr_a = []

for children in content.children:

if children.name == 'p':

if children.text == '':

break

# 取出整段的释义

arr_para.append(children.text.strip())

# 取出加粗词汇

bs = children.find_all('b')

if len(bs) != 0:

for b in bs:

arr_b.append(b.text.strip())

# 取出链接词汇

ass = children.find_all('a')

if len(ass) != 0:

for a in ass:

arr_a.append(a.text.strip())

fp = open('result.txt', 'a')

fp.write(word + '|||' + title.encode('utf-8') + '|||')

write2file(fp, catlinks_arr)

write2file(fp, arr_b)

write2file(fp, arr_a)

write2file(fp, arr_para)

fp.write('\n')

fp.close()

def main():

root_url = 'https://zh.wikipedia.org/wiki/'

for word in get_word('../zh_labels', 'labels_result.txt'):

print '爬取', word

try:

html = download_html(root_url, word)

parse_html(html, word)

except:

print word, '爬取失败'

fp = open('error_log.txt', 'a')

fp.write(word + '\n')

fp.close()

continue

print 'done'

pass

if __name__ == '__main__':

main()

pass

注意修改代码中关于文件的路径

get_word(folder_name, file_name)函数从指定文件中取出待爬取的词汇。

download_html(url, word)函数下载对应url的html源码，并交给parse_html(html, word)函数解析。

维基百科的词条页面有4种情况：

数据存储：

分三个文件存储：

正常词汇的维基百科数据，按如下格式存储：

被爬取词汇|||重定向词汇|||分类1#分类2#|||加粗词汇1#加粗词汇2#|||链接词汇1#链接词汇2#|||释义段落1#释义段落2#|||\n

\n代表换行

歧义词汇的维基百科数据，按如下格式存储：

被爬取词汇|||重定向词汇|||加粗词汇1#加粗词汇2#|||链接词汇1#链接词汇2#|||\n

未收录词汇和爬取出错的词汇，全部写入error_log.txt文件中。