案例背景
糗事百科,我们想要python爬虫。爬什么呢?
爬取每个段子的作者名称、头像、性别、年龄、段子内容。
因为是多页的且我是新手,所以我们先从第一页开始做起low版搞起,后面再抽象方法高级版
本次要求:针对第一页,爬取每个段子的作者名称、头像、性别、年龄、段子内容。然后保存到excel中
https://www.qiushibaike.com/hot/page/1/
第一步
导入库
#coding=utf-8
import requests
import io
import sys
import xlwt
from bs4 import BeautifulSoup
第二步
获取网页代码
resp=requests.get('https://www.qiushibaike.com/hot/page/1/') #请求具体某一详情页
#print(resp) #打印请求结果的状态码
#print(resp.content) #打印请求到的网页源码
bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象,方便操作
a_list=bsobj.findAll('div',class_='author clearfix',) #获取网页中的所有class标签对象定位
i=range(len(a_list))
b_list=bsobj.find_all("div", {
"class": "content"})
#print(len(b_list))
#a_list=bsobj.find_all(text_="qiushi_tag")
#print(a_list)
第三步
分析网页代码,获取作者、头像、性别、年龄、段子内容。
并且保存Excel
3.1 分析网页代码
3.2 保存到Excel
book = xlwt.Workbook(encoding="utf-8", style_compression=0) # 创建workbook对象
sheet = book.add_sheet('糗事百科', cell_overwrite_ok=True) # 创建工作表
col = ("作者"