[python3]糗事百科爬虫【1】

案例背景

糗事百科，我们想要python爬虫。爬什么呢？
爬取每个段子的作者名称、头像、性别、年龄、段子内容。
因为是多页的且我是新手，所以我们先从第一页开始做起low版搞起，后面再抽象方法高级版

本次要求：针对第一页，爬取每个段子的作者名称、头像、性别、年龄、段子内容。然后保存到excel中
https://www.qiushibaike.com/hot/page/1/

第一步

导入库

#coding=utf-8
import requests
import io
import sys
import xlwt
from bs4 import BeautifulSoup

第二步

获取网页代码

resp=requests.get('https://www.qiushibaike.com/hot/page/1/') #请求具体某一详情页
#print(resp) #打印请求结果的状态码
#print(resp.content) #打印请求到的网页源码

bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象，方便操作
a_list=bsobj.findAll('div',class_='author clearfix',) #获取网页中的所有class标签对象定位
i=range(len(a_list))
b_list=bsobj.find_all("div", {
   "class": "content"})
#print(len(b_list))
#a_list=bsobj.find_all(text_="qiushi_tag")
#print(a_list)

第三步

分析网页代码，获取作者、头像、性别、年龄、段子内容。
并且保存Excel
3.1 分析网页代码

3.2 保存到Excel

book = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 创建workbook对象
sheet = book.add_sheet('糗事百科', cell_overwrite_ok=True)  # 创建工作表
col = ("作者"