入门小远学爬虫（二）（五）简单GET型网页爬虫实战——“前程无忧”爬虫岗位信息的爬取之Python第三方库xlsxwriter的使用

本文链接：https://blog.csdn.net/I_am_Tony_Stark/article/details/110779802

文章目录

前言
一、xlsxwriter库的下载安装
二、xlsxwriter的最简单用法
三、进入正题
小结

前言

这是本系列第一个实战项目的第五课，有关前四课相关的内容请访问小远的主页。（上一课的链接）

上一节我们已经利用re库将前程无忧爬虫岗位中前十页的工作的详细信息全部列好，如图：
前程无忧爬虫岗信息

小远想把这个二维的元组列表存进Excel中，那么开始：

一、xlsxwriter库的下载安装

可以类比博主的这篇博文中requests库的安装方法

二、xlsxwriter的最简单用法

顾名思义，这个库就是用来写xlsx文件的。

这个库的使用比较简单，最基础的用法：

wb = xlsxwriter.Workbook('这里写上工作簿的名字.xlsx')
ws = wb.add_worksheet('这里写上工作表的名字')
# ws.write('A1', '在A1写上这句话')
ws.write(x, y, '在x行y列所指单元格写上这句话')
wb.close() # 一定要记得关闭工作簿

有的Excel小白可能不太了解小远刚才所说的一些名词，那么这里顺便科普一波：
工作簿
工作表

三、进入正题

直接上代码，附注释

# -*- coding: utf-8 -*-
# @Time: 2020/11/29 14:21
# @Author: 胡志远
# @Software: PyCharm

# 导入re包
import re
# 导入requests包
import requests
# 导入lxml中的html模块
from lxml import html
# 导入xlsxwriter包
import xlsxwriter
# 需要用到时间
import datetime

# 请求头
headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Connection": "keep-alive",
    "Cookie": "guid=7e8a970a750a4e74ce237e74ba72856b; partner=blog_csdn_net",
    "Host": "jobs.51job.com",
    "Sec-Fetch-Dest": "document",
    "Sec-Fetch-Mode": "navigate",
    "Sec-Fetch-Site": "none",
    "Sec-Fetch-User": "?1",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36"
}
Information = list()
for i in range(1, 11):
    # 网页链接
    url = "https://jobs.51job.com/pachongkaifa/p{}/".format(i)
    # 有请求头写法
    res = requests.get(url=url, headers=headers)
    res.encoding = "gbk"
    # 生成Element对象
    etree = html.etree
    html_elements = etree.HTML(res.text)
    # 根据Xpath路径获取每一个工作的对象
    Jobs_element = html_elements.xpath('//div[@class="detlist gbox"]/div')
    # 正则
    regex = '.*href="(.*)">(.*)</a.*href=.*">(.*)</a.*me">(.*)</span.*on">(.*)</span.*me">(.*)</span.*：(.*)<s.*：(.*)<s.*：(.*)<s.*：(.*)</p.*title='
    for aJob in Jobs_element:
        Information += re.findall(regex, etree.tostring(aJob, encoding="utf-8").decode(), re.S)
wb = xlsxwriter.Workbook('前程无忧招聘信息.xlsx')
ws = wb.add_worksheet('爬虫岗位')
# 先打印一个时间
ws.write(0, 0, "数据截止时间", wb.add_format({'bold': True}))  # 加粗
ws.write(0, 1, datetime.datetime.strftime(datetime.datetime.now(), '%Y-%m-%d %H:%M:%S'))
# 再写上列名
columnNames = ("网址", "岗位名称", "所属公司", "工作地点", "工资待遇", "招聘信息发布时间", "学历要求", "需要资历", "公司类型", "招聘人数")
for columnName in columnNames:
    ws.write(1, columnNames.index(columnName), columnName, wb.add_format({'bold': True}))
# 查看总列表
for item in Information:
    for each in item:
        ws.write(Information.index(item)+2, item.index(each), each)
wb.close()