使用requests+re+xlwt将爬下来的数据保存在excel中

最新推荐文章于 2022-01-17 23:57:29 发布
最新推荐文章于 2022-01-17 23:57:29 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： requests 文章标签： excel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39928840/article/details/81155568
版权

在平时的工作中，大家可能会遇见这么一种情况，就是领导让你从一个网站抓点数据，但是呢，他又不懂编程，那么如何让领导很直观的看懂咱们抓下来的数据呢？今天呢，给大家分享一个很实用的操作，就是直接抓取数据保存到Excel中，以腾讯课堂为例，链接为 https://ke.qq.com/course/list?mt=1001&st=2002&tt=3019&page=

首先咱们先来看下页面，如下：
这里写图片描述

明确一下咱们这次抓取的内容，标题及链接，还有出品人，这三个
通过页码咱们发现，此内容只有13页，所以在请求链接的时候，翻页十三次就好了
这里写图片描述

具体代码以附图形式粘在下边，大家可以参考，过程很详细
这里写图片描述
这里写图片描述
下边是抓下来的数据，因为数据行太多，只截一个供展示
这里写图片描述

习风的博客
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫实战，requests+xlwt模块，爬取螺蛳粉商品数据（附源码）
Modeler_xiaoyu的博客
12-11 872
今天给大家介绍的是Python爬取某宝所有螺蛳粉商品数据，在这里给需要的小伙伴们代码，并且给出一点小心得。
爬去金10网数据,并写入到Excel表格里面（re,requests,xlwt）
weixin_30344131的博客
04-25 145
import requests import re import xlwt def Get_news(): url = 'https://www.jin10.com/' html = requests.get(url) html.encoding = html.apparent_encoding reg = re.compile(...
网络爬虫：Python+requests+re+xlwt 爬取淘宝商品并把价格和名字写入Excel表格
memory_qianxiao的博客
07-05 5232
由于脑袋不够聪明，学校的acm实验室做算法题，打比赛，我是真的跟不上那些大佬...就看到人以前实验室退出的，加到 其他实验室学习项目，做项目，做项目相对学习算法来说，没有那么烧脑，还能做出有趣的东西....我就想学习做项目，因为打比赛我是拿不到能看的成绩.....我们实验室的指导老师，也挺为大家考虑的，让喜欢打比赛的暑假集训，继续刷题，学习算法，还为了，一部分人开设了项目组，进行机器学习，网络爬虫...
小白学python（爬虫知识3（数据保存xlwt）
热门推荐
Lucky Home
04-03 2万+
xlwt xlwt模块是用来写入excel的第三方模块 即把数据保存到excel中 1.创建workbook对象(账本） workbook = xlwt.Workbook(encoding="utf-8") 2.创建工作表（表格） worksheet = workbook.add_sheet("sheet") 3.写入数据 worksheet.write(0,0,"hello")#第一个参数行，第二个参数列， 第三个参数为写入的数据 4.保存数据表 workbook.save("text01.xls"
Python爬取京东评论（多线程+队列+bs4+pymysql）
shizhengxin123的博客
05-26 1920
1、 概述本博客纯属原创，如有转载，请注明作者 运行环境：python3.5所需模块：bs4 ,queue.thread,pymysql,requests，大家如果想运行此代码，只需要将我标粗并斜体的部分修改即可。2、具体内容2、1导入具体模块###导入具体模块 import requests from bs4 import BeautifulSoup import re from collec
Python+Requests+PyTest+Excel+Allure+sendMail
12-29
标题 "Python+Requests+PyTest+Excel+Allure+sendMail" 描述的是一个使用Python进行接口自动化测试的综合实践项目。在这个项目中，开发者利用了一系列的Python库和技术，包括Requests库来发送HTTP请求，PyTest作为...
requests+lxml爬虫，简单爬虫架构.zip
03-01
数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫...
【python+requests+json】数据库排名网站爬虫脚本
最新发布
04-25
本项目所使用的技术为python + requests， 所使用到的库包括requests、datetime、pandas、lxml、etree 结果保存至json，使用pandas内置的save_to_json函数 本项目包含了17个排名的网址，采用循环技术依次爬取
python实现接口自动化（python+unittest+requests+ddt数据驱动框架）
04-29
python实现接口自动化测试： 1、测试框架：python+unittest+requests+ddt数据驱动 2、测试用例维护在excle 3、支持post方法、get方法等 4、支持测试报告结果发送至qq邮箱
Requests+re爬虫框架爬取教务系统课程信息
12-21
在这个例子中，使用pandas的`DataFrame`将数据结构化，然后用`to_csv()`或其他方法导出。然而，这里没有展示具体的存储步骤，可能需要根据实际需求添加这部分代码。 5. **注意事项**： - 爬虫必须遵守网站的robots...
python爬虫爬取企查查公司工商信息
02-10
爬取企查查网站上公司的工商信息，路径大家根据自己情况自行修改，然后再在工程路径下创建个company.txt，里面输入想要爬取的公司名，就会生成该公司的工商信息网页。
读取Excel中的视频文件地址+requests库下载后存入本地文件夹【多测师_王sir】
多测师_王sir的博客
07-27 132
#coding=utf-8 """ =========================== Author:多测师_王sir Time:2020-07-27 16:27 Wechat:xiaoshubass website:www.duoceshi.cn =========================== """ import re class Util: @clas...
Python爬虫初级（6）：xlwt保存数据
一北DMY的博客
01-17 2604
Python爬虫初级（6）：xlwt保存数据
python 使用xlrd和xlwt操作excel
qq_27399的博客
05-15 237
目录前言一、问题二、代码三、运行结果 前言 最近我爬页面的时候把数据存到了list集合中，然而我想存到excel表里便于观看，经过查找发现可以使用xlrd和xlwt来操作excel, 一、问题 因为我是多个list想放到一列中，并且每个list的数据之间要留有空隙，那我的想法是先把第一个list放进去，然后获取文档当前的行数，再放第二个，然后第三个，结果出现了问题，我只能先使用xlwt保存excel然后再使用xlrd打开excel读取行数，不能不保存直接读取， 还有就是想着用xlwt保存然后用openpyx
【Python爬虫】Requests 请求并读写、保存到excel文件中
A_彬的博客
09-18 6832
爬取前程无忧职位信息 此次我们用简单的爬虫来展示如何把爬到提取出的信息保存的excel文件中.（ps：首先你要安装好模块openpyxl否则就点击右上角离开，百度搜素安装.） 选前程无忧的网页作为案例是因为主编最近在看看工作的消息，想想就顺手写了一个为方便寻找满足自己要求的工作.为简化我们爬虫的需求，我们已经在前程无忧上的页面选择自己对应的职位需求和职位地区.我选的是杭州+互联网/电子商务...
python3使用requests发送post请求，对接口返回的数据进行处理，最后塞入list，保存到本地的excel中；
linmumum的博客
05-21 4768
#coding:utf-8 import http.cookiejar import json from urllib import parse,request import requests from openpyxl import Workbook import datetime name = 'tarcuper' allowed_domains = ['*'] start_url...
利用Python爬取的数据存入Excel表格
web开发与Python
09-30 6938
分析要爬取的内容的网页结构： demo.py: import requests #requests是HTTP库 import re from openpyxl import workbook # 写入Excel表所用 from openpyxl import load_workbook # 读取Excel表所用 from bs4 import BeautifulSoup as bs ...
python - requests从excel中获取测试用例数据
weixin_33795833的博客
12-09 323
HttpRequests.py 1 #-*- coding:utf-8 -*- 2 3 4 import requests 5 class HttpRequests(): 6 def http_requests(self,url,params,http_mothed,cookies=None): 7 if http_m...
用python读取json格式内容并保存到excel中
安小飞的博客
09-20 1万+
python版本 python2.7 所需安装库 xlwt # -*- coding: utf-8 -* import json,xlwt,os def readjson():     path = 'C:/Users/lenovo/Desktop/xueli'#指定文件夹路径     files = os.listdir(path)#得到文件夹下的所有文件名称     s
pytest+requests+excel+allure
07-15
这样，我们可以将测试用例的输入数据和预期结果存储在excel表格中，然后在测试脚本中读取这些数据，并在测试用例中使用。 在测试完成后，使用allure可以生成漂亮的测试报告。allure支持在测试脚本中插入一些注解，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值