前言
这是本系列第一个实战项目的第五课,有关前四课相关的内容请访问小远的主页。(上一课的链接)
上一节我们已经利用re库将前程无忧爬虫岗位中前十页的工作的详细信息全部列好,如图:
小远想把这个二维的元组列表存进Excel中,那么开始:
一、xlsxwriter库的下载安装
可以类比博主的这篇博文中requests库的安装方法
二、xlsxwriter的最简单用法
顾名思义,这个库就是用来写xlsx文件的。
这个库的使用比较简单,最基础的用法:
wb = xlsxwriter.Workbook('这里写上工作簿的名字.xlsx')
ws = wb.add_worksheet('这里写上工作表的名字')
# ws.write('A1', '在A1写上这句话')
ws.write(x, y, '在x行y列所指单元格写上这句话')
wb.close() # 一定要记得关闭工作簿
有的Excel小白可能不太了解小远刚才所说的一些名词,那么这里顺便科普一波:
三、进入正题
直接上代码,附注释
# -*- coding: utf-8 -*-
# @Time: 2020/11/29 14:21
# @Author: 胡志远
# @Software: PyCharm
# 导入re包
import re
# 导入requests包
import requests
# 导入lxml中的html模块
from lxml import html
# 导入xlsxwriter包
import xlsxwriter
# 需要用到时间
import datetime
# 请求头
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Accept-Language": "zh-CN,zh;q=0.9",
"Connection": "keep-alive",
"Cookie": "guid=7e8a970a750a4e74ce237e74ba72856b; partner=blog_csdn_net",
"Host": "jobs.51job.com",
"Sec-Fetch-Dest": "document",
"Sec-Fetch-Mode": "navigate",
"Sec-Fetch-Site": "none",
"Sec-Fetch-User": "?1",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36"
}
Information = list()
for i in range(1, 11):
# 网页链接
url = "https://jobs.51job.com/pachongkaifa/p{}/".format(i)
# 有请求头写法
res = requests.get(url=url, headers=headers)
res.encoding = "gbk"
# 生成Element对象
etree = html.etree
html_elements = etree.HTML(res.text)
# 根据Xpath路径获取每一个工作的对象
Jobs_element = html_elements.xpath('//div[@class="detlist gbox"]/div')
# 正则
regex = '.*href="(.*)">(.*)</a.*href=.*">(.*)</a.*me">(.*)</span.*on">(.*)</span.*me">(.*)</span.*:(.*)<s.*:(.*)<s.*:(.*)<s.*:(.*)</p.*title='
for aJob in Jobs_element:
Information += re.findall(regex, etree.tostring(aJob, encoding="utf-8").decode(), re.S)
wb = xlsxwriter.Workbook('前程无忧招聘信息.xlsx')
ws = wb.add_worksheet('爬虫岗位')
# 先打印一个时间
ws.write(0, 0, "数据截止时间", wb.add_format({'bold': True})) # 加粗
ws.write(0, 1, datetime.datetime.strftime(datetime.datetime.now(), '%Y-%m-%d %H:%M:%S'))
# 再写上列名
columnNames = ("网址", "岗位名称", "所属公司", "工作地点", "工资待遇", "招聘信息发布时间", "学历要求", "需要资历", "公司类型", "招聘人数")
for columnName in columnNames:
ws.write(1, columnNames.index(columnName), columnName, wb.add_format({'bold': True}))
# 查看总列表
for item in Information:
for each in item:
ws.write(Information.index(item)+2, item.index(each), each)
wb.close()
可见当前目录下生成了一个.xlsx文件,查看效果:
下一节已更新
小结
使用xlsxwriter的步骤:
1、引入包(import)
2、打开工作簿,选择工作表,写入数据
3、关闭工作簿,一定要记得关
如果觉得博主写的还不错的,欢迎点赞、评论、加关注,大家的访问就是博主更新文章不竭的源动力!