Python爬虫实战（一）：抓取糗事百科网的段子

Amo Xiang

于 2020-09-11 15:56:25 发布

阅读量1.8k

点赞数 28

分类专栏： Python3入门与进阶文章标签： python 正则表达式 requests spider

本文链接：https://blog.csdn.net/xw1680/article/details/108535351

版权

Python3入门与进阶专栏收录该内容

128 篇文章 30 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍如何使用Python的requests和正则表达式库爬取糗事百科网站的段子。首先分析网站结构，发现页码规律，然后通过正则表达式解析HTML代码，提取所需信息。提供了抓取多页段子的示例代码，并强调仅用于技术学习，不可用于商业目的。

摘要由CSDN通过智能技术生成

1. 网站分析

本篇文章使用 requests 库抓取糗事百科网的段子。读者可以点击此处访问糗事百科段子页面。页面如下图所示：

在这里插入图片描述
在页面的下方是带有数字链接的导航条，可以切换到不同的页面，每一页会显示 25 个段子。所以要实现抓取多页段子的爬虫，不仅要分析当前页面的 HTML 代码，还要可以抓取多页的 HTML 代码。

现在切换到其他页面，看一下 URL 的规律。第 1、2、3 页对应的 URL 如下：

https://www.qiushibaike.com/text/page/1/
https://www.qiushibaike.com/text/page/2/
https://www.qiushibaike.com/text/page/3/

从 URL 的规律可以看出ÿ

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Amo Xiang

关注关注

28
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Python爬虫编程思想（38）：项目实战：抓取糗事百科网的段子

一个被知识诅咒的人

10-05

264

本节的项目会使用requests库抓取糗事百科网的段子，读者可以用下面的URL访问访问糗事百科段子页面。 https://www.qiushibaike.com/text 页面如图1所示。在页面的下方是带有数字链接的导航条，可以切换到不同的页面，每一页会显示一定数量的段子。所以要实现抓取多页段子的爬虫，不仅要分析当前页面的HTML代码，还要可以抓取多页的HTML代码。现在切换到其他页面，看一下URL的规律。第1、2、3也对应的URL如下：...

python爬取糗事百科

菜鸡小白的成长记录

12-15

489

本次要爬取的是糗事百科，地址如下：http://www.qiushibaike.com/8hr/page/1 1.思路分析： url地址的规律非常明显，一共只有13页url地址 2.确定数据的位置数据都在id='content-left’的div下的div中，在这个区域，url地址对应的响应和elements相同 3.糗事百科代码实现 import requests from lxml im...

1 条评论您还未登录，请先登录后发表或查看评论

Python3抓取糗事百科

Ctrain的专栏

07-30

182

import urllib.request import urllib.parse import urllib.error import http.cookiejar import re class QSBK : #初始化方法，定义一些变量 def __init__(self) : self.pageIndex = 1 self

Python爬虫教程——实战一之爬取糗事百科段子

华秋实的专栏

09-05

2310

大家好，前面入门已经说了那么多基础知识了，下面我们做几个实战项目来挑战一下吧。那么这次为大家带来，Python爬取糗事百科的小段子的例子。首先，糗事百科大家都听说过吧？糗友们发的搞笑的段子一抓一大把，这次我们尝试一下用爬虫把他们抓取下来。友情提示糗事百科在前一段时间进行了改版，导致之前的代码没法用了，会导致无法输出和CPU占用过高的情况，是因为正则表达式没有匹配到的缘故。现在，博主已经对程序进行了重

Python爬虫实战一之爬取糗事百科段子

zhyh1435589631的专栏

05-02

2299

点我进入原文需要注意的是，距离作者的原文发布的时间有一段距离了，糗百的html 代码发生部分变化，因而 正则表达式模块需要自己重新根据实际情况进行编写~~ Python爬虫实战一之爬取糗事百科段子大家好，前面入门已经说了那么多基础知识了，下面我们做几个实战项目来挑战一下吧。那么这次为大家带来，Python爬取糗事百科的小段子的例子。首先，糗事百科

Python爬虫实战：抓取糗事百科热门段子

"Python爬虫爬取糗事百科段子教程" 在本文中，我们将学习如何使用Python编写爬虫程序来抓取糗事百科网站上的热门段子。首先，我们需要了解爬虫的基本工作原理：通过发送HTTP请求到目标网页，获取响应的HTML内容，...

Python爬虫实战：抓取糗事百科段子

本文是一篇关于Python爬虫实战的教程，主要介绍如何利用Python编写脚本来爬取糗事百科的热门段子。作者以糗事百科为例，这个网站允许非登录用户访问，因此不需要考虑Cookie问题。文章的主要目标包括： 1. 抓取糗事...

[python3]爬虫实战一之爬取糗事百科段子

haliofwu的专栏

10-25

1619

Python爬虫实战一：爬取糗事百科的文本段子

聪少的博客

08-19

1150

本文是笔者进行Python爬虫学习自己动手写的第一个完整的程序。实现了最基本的爬虫功能，即对糗事百科里文本段子的爬取，使用字典这一数据结构来存储段子的内容、作者以及点赞数（评论数不知何故，只能输出奇数序号，实现失败），再将其打印输出。程序主体是两大块：网页下载器、网页解析输出器初学Python，编程上一定存在着不少的问题，欢迎各路大神拍砖指正。因笔者是用sublime text3自带的调试器进行程序调试的，该软件调试时不支持交互，故所有常量都是直接赋值的，使用时可以根据实际需要自行修改。下面贴上代码

爬虫实践-爬取糗事百科网段子信息

dianrao0601的博客

12-08

277

qiushibaike.py: # 导入相应的库文件import requestsimport re# 加入请求头headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/53.0....

爬虫实战1：爬取糗事百科段子

不小心写起了程序

04-24

836

本文主要展示利用python3.8+urllib实现一个简单无需登录爬取糗事百科段子实例。如何获取网页源代码对网页源码进行正则分析，爬取段子对爬取数据进行再次替换&删除处理易于阅读 0、全部源码展示本文将先展示全部源码，后面将逐步分析如何实现爬取糗事百科段子。 import urllib.request import re class QSBKCrawler: U...

Python爬虫实战之利用Scrapy框架爬取糗事百科段子

王大阳的博客

06-12

706

糗事百科网址https://www.qiushibaike.com/text/ # -*- coding: utf-8 -*- import scrapy import re class QsbkSpiderSpider(scrapy.Spider): name = 'qsbk_spider' allowed_domains = ['qiushibaike.com'] s...

Python-爬虫——爬取糗事百科上面的段子（适用于有Python基础）

番茄炒蛋不要蛋

03-17

2450

Python语言在最近几年之间发展迅猛，比较喜欢用Python来写一些爬虫。Python爬虫因为有极其丰富和功能强大的库在爬虫领域占据领导地位，以下的文章将以一个新手的姿态来记录下用Python写爬虫的历程，也可以为想学习爬虫的人提供一个简单的教程。 1，分析糗事百科的网页源代码。 2，构建提取相应的正则表达式。 3，写出算法来提取相应内容。 4，遇到的一些问题和小窍门。对于糗...

python 爬虫爬取糗事百科段子

bitcarmanlee的博客

07-04

7894

在网络上看到有介绍python爬虫爬去糗事百科段子的文章，觉得还挺好玩的，所以照着文章的思路自己重新实现了代码，完成了一个小小的爬虫爬取数据的例子。1.抓取页面的源码首先我们确定好页面的URL是 http://www.qiushibaike.com/hot/page/1，其中最后一个数字1代表页数，我们可以传入不同的值来获得某一页的段子内容。首先来一段基本的页面抓取代码def base_test()