【企查查】高级查询下突破导出5000条/10次限制思路tips，完整全量导出

已于 2022-10-27 15:00:22 修改
阅读量1.4w 收藏 16
点赞数 4
分类专栏： 数据采集 文章标签： python 爬虫 大数据 数据库 json
于 2021-03-15 17:20:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43297217/article/details/114694249
版权
本文介绍了一种通过时间拆分和使用selenium与requests工具突破企查查、天眼查等平台限制的方法，实现单次查询超过5000条记录的大数据量导出。该方法适用于需要大量导出企业信息的场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【企查查、天眼查、企业信息，企业目录】

高级查询界面

你好！ 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

限制条件

  • 即使VIP，对单个筛选条件下的查询数据也只能有前5000条。并且有导出次数限制
    在这里插入图片描述

突破思路

  • 1、将一个查询条件下的数据进行时间拆分，例如拆分为5天时间段，每次的数据量会下降到5000以内
  • 2、用selenium对查询进行时间拆分点击，写算法对数据量判断自动拆分时间，保证时间段内的数据大于4000小于5000

这样处理以后几十万的数据量会被拆分成每个时间段处理从而达到全量导出的效果，一天数据量超过5千，可以按原理拆分城市、行业
在这里插入图片描述

  • 3、最后实现主要用selenium+requests方法完成，selenium查询点击，requests导出数据

结果展示

导出结果与官方数据一致，仅展示部分字段
在这里插入图片描述

Chrome导出cookie的实战教程
weixin_43178406的博客
06-29 8万+
本文主要介绍了Chrome导出cookie的实战教程，希望能对使用Chrome的同学们有所帮助。 文章目录 1. 问题描述 2. 实战工具一 3. 实战工具二
Docker (二)：镜像、容器导入导出与私有仓库搭建
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！✨
08-17 5万+
🟢 Docker (二)：镜像、容器导入导出与私有仓库搭建
element登录页面_python爬虫另辟蹊径绕过企查查的登录验证，我太冇财了
weixin_39884373的博客
11-30 664
从企查查爬取企业信息，如果没有登录直接检索，邮箱、电话都被隐藏了点击详情，部分信息同样会被隐藏毕竟只是打工的，没钱不能任性！想要查看更完整的企业信息，只有登录了。但登录需要滑块验证，有时可能还会有图片验证码但我干不过他们，老大不提供资金支持，那就只能另辟蹊径了。突然看到右下角有三小只，不禁有点想法了是不是可以通过授权的形式进行登录呢，那就开始吧那就拿三小只试试：首先通过微博登录，将该绑定的绑定，该...
【Python网络爬虫】企查查批量查询接口爬虫
moyuweiqing的博客
10-24 5039
在http请求中，主要包含两种方式，一种是get请求另一种是post请求，在post请求中，请求headers中的哈希加密参数的生成a_default()函数和r_default()函数中生成，函数中的其中一个参数名为data，此时，data为post请求中的数据，为字典类型；但在get请求中，由于和post请求不一样，数据中并没有data部分的内容，因此，在get请求中，headers中哈希加密参数的生成不需要传递参数data，或者data的值为默认值，即为空字典。
【Python网络爬虫】企查查高级搜索及批量查询接口爬虫
moyuweiqing的博客
01-16 1万+
【Python网络爬虫】企查查高级搜索及批量查询接口爬虫
企查查批量导出后数据整理——以股东信息为例，并上传至数据库。（附完整代码python）
d666jjjiii的博客
08-17 3380
由于企查查上的企业数据时间线较长，关于最新公示部分的数据列有两种形式，本文选择提取年代较新的部分列，列开头为：序号 股东名称 持股比例 XXX。但是若多次导入数据不设置自增列，导入的数据可能id不为1开始。由于需要区分工商登记数据还是最新公示数据，所以选择将这两部分数据分开存放，当然也可以放在一起。（本文认为最新公示的企业属于上市企业，但是也存在一些未上市却即将上市的企业，工商登记属于未上市企业）。提醒：企查查导出的数据列名随时都存在变化的可能，可能会新增列也可能改变列名，需要对导出的数据进行一个检查。
爬取企查查信息
05-15
通过关键词的检索，爬取企查查网站上失信人信息。测试环境：python2.7，windows7操作系统；
企查查导出excel数据添加WGS84坐标系
sumuses的博客
11-29 932
使用前准备 删除表格的第一行“企查查”图片，在最后两列添加新的字段（经度和纬度），然后另存为xlsx格式。 代码可直接赋值粘贴使用，只需修改 可能要替换的位置 直接对原excel进行操作——谨慎操作. from urllib.request import urlopen, quote import time from openpyxl.reader.excel import load_workbook import re from urllib import parse import hashlib f
angularjs 获取复选框的值_如何利用Python批量获取天眼查企业信息？
weixin_39739661的博客
11-08 187
中间很长一段时间，由于各种原因，没有时间继续学习Python。最近为了捡起Python，我开始不断锻炼自己的爬虫技术——爬取各种网页信息。一直苦恼于网页登录时各种验证码的处理，感觉无从下手，可能是因为自己太过业余吧，哈哈……对于审计人员来说，工作中需要经常查询企业信息，为了方便快捷地获取我们想要的企业信息，我一直在思考如何用Python去爬取各大企业信息查询网站。其实，这个爬虫有很多大佬...
python爬虫采集企查查数据
AI创世纪的博客
10-18 6736
这时候就需要使用爬虫代理IP 去解决，登陆之后获取企业信息的页面源码，解析所采集的数据，获取到企业的名称和数据代码，处理好验证码，避免爬虫行为被限制，大部分网站均限制了IP的访问量，对于爬虫频繁访问，导致被网站限制，我们还可以通过使用爬虫代理来解决。然后将采集的数据信息保存到文件中即可。企查查，一个查询企业信息的网站，这个网站也是网络爬虫选择采集的对象，这个网站反爬提别厉害，没有一定的爬虫技术，是无法采集成功的。4、储存采集的数据信息。2、采集企业信息页面。3、解析所采集的数据。
企查查爬虫python版本2022年
11-23
1、python爬取企查查公司信息 2、添加应对反爬的设置 3、开箱即用，有示例数据文件 4、windows版本 5、需要登录或者人工验证 6、采用selenium模块+chromedriver驱动
使用企查查通过高德地图爬虫所有企业python代码
06-11
1. 高德对 IP地址 无反爬机制 2. 高德POI信息查询,若数据量小于3万,可通过认证个人开发者,获取免费api接口,实现每天 3万次 / 50-200 并发量 3. 若数据量远大于3万,可通过页面爬虫,若 CPU\内存\网速 够用,可开 50-100 条线程并发(python内核是伪线程,可以自己测试并发效率, 并非数越多越好) ——学习参考资料：仅用于个人学习使用！ 本代码仅作学习交流，切勿用于商业用途，否则后果自负。若涉及侵权，请联系，会尽快处理! 未进行详尽测试，请自行调试!
天眼查数据excel模板无数据
09-10
天眼查每次能到处5000条数据，模板暂时看是固定的，，，特地发上来一个给大家。没有数据。不过本人有个可以批量管理天眼查excel的简单通用企业信息共享软件正在开发中。。。已经可以在线更新，所以想了解和提建议的可以看一下。
批量工商信息查询
02-03
自动从excel文件中读取待查名单，查询信息，自行根据需要提取相关信息
Chrome浏览器导出插件并安装到其他电脑浏览器上的解决方案
weixin_43178406的博客
08-12 5万+
本文主要介绍了Chrome浏览器导出插件并安装到其他电脑浏览器上的解决方案，希望能对使用Chrome的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【SpringBoot】37、SpringBoot整合EasyPoi自定义字典导出Excel
热门推荐
Asurplus
11-06 22万+
前面我们介绍了 SpringBoot 中使用 JeecgBoot 的 Autopoi 导出 Excel，其实 Autopoi 的底层也是 EasyPoi，对于 Excel 的导入/导出也是非常方便的。那 EasyPoi 也是基于 POI 的，如果对这方面想要深究的，可以先看看原生 POI 的导入/导出方式，你会回来选择 EasyPoi 的 一、简介 EasyPoi 功能如同名字 easy，主打的功能就是容易，让一个没见接触过poi的人员就可以方便的写出 Excel 导出，Excel 模板导出，Excel 导
Spring Boot进阶(08)：使用EasyPoi实现Excel/Word携带图片导出，打造精美的报表
**My Coding Family**
09-07 3969
如何快速学会SpringBoot项目中图片导出到Excel/Word中？一文教你搞定
requests+selenium 爬取企查查网，1000+条数据轻轻松松
qq_44936246的博客
09-01 6085
对于这个我们就很简答了， 我们需要获取公司的具体链接 我们根据如下链接去爬取公司的具体链接： https://blog.csdn.net/qq_44936246/article/details/120049948?spm=1001.2014.3001.5501 selenium 轻松模拟登录企查查，获取企业详细信息链接 数据 注意注意注意注意 我们在根据链接，去获取 HTML的时候，前后获取的我们需要设置停顿时间---time.sleep(60)，我一般是60s,如果我们不设置十分容易被封IP，本人就是时
企查查app新增企业数据抓取
成小新的博客
07-09 5221
企查查每日新增企业数据抓取 尚未完成的工作： 需要自行抓包获取设备id，appid，sign等等 sign和时间戳保持一致即可 把所有的数据库、redis配置 无法自动登录，账号需要独立 redis数据转存mysql 企查查限制，每分钟请求大概不能超过30次，所有功能未加并发，请不要使用代理并发，会封账户的 有些工作尚未完成，需要自己进行继续开发，可以找我要app的脱壳源代码，继续分析。 已经完...
vxe-grid 高级导出 全量导出
最新发布
09-14
`vxe-grid` 提供了高级导出功能，包括全量导出（Full Export）。全量导出允许用户一键导出整个表格的所有数据，不仅仅是当前显示的页面内容。要实现全量导出，通常涉及以下几个步骤： 1. **配置 grid**：首先，在网格组件的配置中开启导出功能，提供下载全部数据的选项。例如，在 `gridOptions` 中设置 `exporter` 属性： ```javascript import { Grid, Exporter } from 'vxe-table'; data: () => ({ gridOptions: { ..., methods: { queryAll: ..., }, exporter: { type: 'xlsx', // 或者 'csv' 或其他格式 download: true, // 开启下载功能 } } }), ``` `type` 可以设置成 'xlsx' 对应 Excel 文件，或者 'csv' 对应 CSV 文件。 2. **导出事件处理**：当用户触发导出操作（比如点击下载按钮），grid 组件会触发 `export` 事件，此时可以在组件内部捕获这个事件，处理导出逻辑： ```javascript methods: { async exportData() { const data = await this.gridOptions.queryAll(); // 获取所有数据 await this.$refs.grid.export({ data }); // 执行导出操作，传递数据给导出插件 } }, mounted() { this.$refs.grid.on('export', this.exportData); // 监听导出事件 }, beforeDestroy() { this.$refs.grid.off('export'); // 销毁时移除事件监听 }, ``` 注意这里假设你已经在模板上绑定了导出按钮，并通过 `$refs` 访问到 grid 实例。 3. **导出文件生成**：`Exporter` 插件会负责生成对应的文件内容，然后由浏览器下载。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DM。

对您有帮助的话，打赏一下吧~~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值