案例背景
糗事百科,我们想要python爬虫。爬什么呢?
爬取每个段子的作者名称、头像、性别、年龄、段子内容。
因为是多页的且我是新手,所以我们先从第一页开始做起low版搞起,后面再抽象方法高级版
本次要求:针对第一页,爬取每个段子的作者名称、头像、性别、年龄、段子内容。然后保存到excel中
https://www.qiushibaike.com/hot/page/1/
第一步
导入库
#coding=utf-8
import requests
import io
import sys
import xlwt
from bs4 import BeautifulSoup
第二步
获取网页代码
resp=requests.get('https://www.qiushibaike.com/hot/page/1/') #请求具体某一详情页
#print(resp) #打印请求结果的状态码
#print(resp.content) #打印请求到的网页源码
bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象,方便操作
a_list=bsobj.findAll('div',class_='author clearfix',) #获取网页中的所有class标签对象定位
i=range(len(a_list))
b_list=bsobj.find_all("div", {
"class": "content"})
#print(len(b_list))
#a_list=bsobj.find_all(text_="qiushi_tag")
#print(a_list)
第三步
分析网页代码,获取作者、头像、性别、年龄、段子内容。
并且保存Excel
3.1 分析网页代码

3.2 保存到Excel
book = xlwt.Workbook(encoding="utf-8", style_compression=0) # 创建workbook对象
sheet = book.add_sheet('糗事百科', cell_overwrite_ok=True) # 创建工作表
col = ("作者"

本文介绍了使用Python3编写糗事百科的爬虫,目标是抓取第一页上的每个段子的作者信息(名称、头像、性别、年龄)以及段子内容,并将数据保存到Excel文件。首先,介绍了爬虫的背景和需求,接着详细讲解了导入库、获取网页源代码、解析网页结构以提取所需信息,以及如何将数据存储到Excel的步骤。虽然代码初级,但为后续优化打下了基础。
最低0.47元/天 解锁文章


被折叠的 条评论
为什么被折叠?



