如何使用Python提取维基百科数据

最新推荐文章于 2024-03-31 09:59:42 发布

dfsgwe1231

最新推荐文章于 2024-03-31 09:59:42 发布

阅读量1.7k

点赞数

文章标签： python 人工智能

本教程介绍了如何使用Python的Wikipedia模块轻松提取维基百科页面的数据，包括摘要、标题、类别、链接和参考文献。通过示例展示了即使在拼写错误的情况下也能进行有效搜索，并强调了这一方法在数据收集、聊天机器人开发等场景的应用潜力。

摘要由CSDN通过智能技术生成

这是本教程的可视版：

我需要提到的是，我们不会手动抓取Wikipedia页面， Wikipedia模块已经为我们完成了艰巨的工作。让我们安装它：

pip3 install wikipedia

打开一个Python交互式外壳或一个空文件，然后继续。

让我们总结一下什么是Python编程语言：

import wikipedia
# print the summary of what python is
print(wikipedia.summary( "Python Programming Language" ))

这将从此Wikipedia页面中提取摘要。更具体地说，它将打印一些第一句话，我们可以指定要提取的句子数：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dfsgwe1231

关注关注

0
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

python：实现显示维基百科的数据(附完整源码)

希望我的博客，能帮上你解决学习中工作中所遇到的问题

03-16

243

python：实现显示维基百科的数据(附完整源码)

python(BeautifulSoup)爬取wiki页面内容，并写入EXCEL中

隐者驰骋的博客

03-07

2698

1、每个版本都会发布n多个功能点，功能点全部列在wiki上，但是发现wiki使用起来并不是很方便，尤其列在上面的内容有长、有短，内容参差不齐。所以，就想到了用python爬取页面内容，寻找规律，将爬取的数据写入到excel表中，查看和统计数据方便很多。提升了测试管理效率，尽量通过自动化实现测试数据的汇总整理。 2、主要应用contents属性，contents能够获取到的是标签下的第一个标签，得...

参与评论您还未登录，请先登录后发表或查看评论

通过Python获取维基百科中概念词条的维基信息

领头“洋”

03-29

4402

关于通过Python获取维基百科当中的概念词条的维基信息 维基百科作为全球网络上最大且最受欢迎的参考工具书目前已被许多自然语言处理方面的研究人员所青睐，并将其视为优质的语言资料来源。大多数情况下，我们获取维基百科信息是通过其提供的数据库（http://dumps.wikimedia.org）来实现，但是其数据量巨大让我们难以转存至自己的电脑数据库当中（英文的基本上10G以上，电脑没有16G内存基本...

Python-WikiData上的一个自然语言查询引擎

08-10

WikiData上的一个自然语言查询引擎

基于python的脚本爬取：维基百科实战

pdstar_的博客

10-25

977

爬虫已经逐渐成为非程序员都要学会的技能之一。而当前市面上的爬虫脚本冗杂，这里提供一个易于新手上手的脚本爬取，主要特点就是，快速上手看下面。：爬取维基百科内容：给一个网页，返回一个chinese_txt文件，里面有爬回这个网页内所有的文字，以及网页内所有的链接内的网页文字也会被爬到。

Python-包含维基百科图书电影等的故事情节的数据集和提取器的代码

08-12

A dataset containing story plots from Wikipedia (books, movies, etc.) and the code for the extractor.

【Python网络爬虫】Python维基百科网页抓取（BeautifulSoup+Urllib2）

kicilove的小屋

11-06

6982

本文，我们使用Python中的`“BeautifulSoup`”和`“urllib2”`来研究web抓取方法。我们也研究了HTML的基础知识，同时一步一步地执行网页抓取。快用它来从网页收集数据吧！

wikipedia-crawler:一个简单的维基百科网络爬虫

06-29

一个简单的 Python 维基百科爬虫。运行： celery worker -A crawler.tasks --loglevel=info -Q fetch_queue -n 'fetcher' celery worker -A crawler.tasks --loglevel=info -Q parse_queue -n 'parser' 用于监控：celery -A crawler.tasks 花 --broker=amqp://guest:guest@localhost:5672// --broker_api=http://guest:guest@localhost:15672/api/ rabbitmq-plugins 启用 rabbitmq_management 花： RabbitMQ：为什么只有维基百科 => 几乎可以保证健全的 HTML

简单的实战演练：维基百科爬虫（附带爬虫样例代码）

此地无银三百两

02-27

4651

written by: 东篱下の悠然此文章基于python语言实现，需要一定的python编程基础~ 1. 什么是网页爬虫：当我们在浏览维基百科或百度网页时，在浏览过程中可以单击文章中的链接从某一页到另一网页，重复几次会发现所浏览的内容越来越离奇，与我们需要查找的资源越来越不相干而容易使人分心。比如我在维基百科中文版主页上搜索“煎饼果子”关键字时，正文中第一个链接是“煎饼”，点击它会转到“煎饼...

爬虫实战(一) 用Python爬取百度百科

半虹小站

03-14

2852

最近博主遇到这样一个需求：当用户输入一个词语时，返回这个词语的解释我的第一个想法是做一个数据库，把常用的词语和解释放到数据库里面，当用户查询时直接读取数据库结果

Python 爬虫笔记（对维基百科页面的深度爬取）

路漫漫其修远兮，吾将上下而求索

09-27

5222

*#! /usr/bin/env python #coding=utf-8 import urllib2 from bs4 import BeautifulSoup import re import datetime import random random.seed(datetime.datetime.now()) def getLinks(articleUrl): ht

基于Python编程实现简单网络爬虫实现

热门推荐

本末实验室

01-06

5万+

编写一个非常轻量的python代码，实现网络爬虫

Python3之爬取维基百科国家代码

Quincy.Coder的博客

04-11

1201

因为手上的项目要校验输入的国家代码，直接就在维基百科爬了下，入门级爬虫： import requests from bs4 import BeautifulSoup as bs html_doc = requests.get('https://zh.wikipedia.org/wiki/ISO_3166-1').text # print(html_doc) soup = bs(html_d...

快速使用wikiextractor提取维基百科语料的简单用法

qq_38796548的博客

08-31

5982

一、前言 wikiextractor（直接下载来还不能直接用，还需要进行安装，得到WikiExtractor.py，才能使用）是一个提取维基百科语料的一个工具，在国内很受欢迎，它可以提取从维基下载下来的带.bz结尾语料的主要文章内容，这里介绍一个快速安装wikiextractor并使用提取的教程。前提条件：已经从维基百科下载好语料，例如：粤语语料：zh_yuewiki-latest-pages-articles-multistream.xml.bz2 已安装pip工具二、步骤在项目目录下使用

维基百科文章爬虫和聚类【二】：KMeans

gongdiwudu的专栏

11-21

3701

在我的上一篇文章中，展示了该项目的轮廓，并奠定了其基础。首先，维基百科爬虫对象按名称搜索文章，提取标题、类别、内容和相关页面，并将文章存储为纯文本文件。其次，语料库对象处理完整的文章集，允许方便地访问单个文件，并提供全局数据，例如单个标记的数量。

NLP项目：维基百科文章爬虫和分类【02】 - 语料库转换管道

gongdiwudu的专栏

10-09

4950

我的NLP项目在维基百科条目上下载、处理和应用机器学习算法。相关上一篇文章中，展示了项目大纲，并建立了它的基础。首先，一个 Wikipedia 爬网程序对象，它按名称搜索文章，提取标题、类别、内容和相关页面，并将文章存储为纯文本文件。其次，一个语料库对象，它处理完整的文章集，允许方便地访问单个文件，并提供全局数据，如单个令牌的数量。

探秘`scrapy_for_zh_wiki`：从技术角度解析一个高效的维基百科爬虫